[논문 리뷰] Locally Persistent Exploration in Continuous Control Tasks with Sparse Rewards

Susan Amin, Maziar Gomrokchi외 3명|arXiv (Cornell University)|2020. 12. 26.

Protein Structure and Dynamics참고 문헌 38인용 수 6

한 줄 요약

이 논문은 희박한 보상 환경에서 연속 제어 작업을 위한 새로운 탐색 방법인 PolyRL을 제안한다. 이 방법은 고분자 물리학에서 영감을 얻은 궤적을 사용하여 局소적으로 자기 회피적이고 지속적인 탐색을 가능하게 한다. 반경의 회전율과 행동 시퀀스의 감쇠하는 시간적 상관관계를 활용함으로써, 이는 이산 행동 표현 없이도 상태공간의 커버리지가 향상되며, 희박한 보상 환경에서 MuJoCo의 이동 작업에서 기준 방법들을 능가한다.

ABSTRACT

A major challenge in reinforcement learning is the design of exploration strategies, especially for environments with sparse reward structures and continuous state and action spaces. Intuitively, if the reinforcement signal is very scarce, the agent should rely on some form of short-term memory in order to cover its environment efficiently. We propose a new exploration method, based on two intuitions: (1) the choice of the next exploratory action should depend not only on the (Markovian) state of the environment, but also on the agent's trajectory so far, and (2) the agent should utilize a measure of spread in the state space to avoid getting stuck in a small region. Our method leverages concepts often used in statistical physics to provide explanations for the behavior of simplified (polymer) chains in order to generate persistent (locally self-avoiding) trajectories in state space. We discuss the theoretical properties of locally self-avoiding walks and their ability to provide a kind of short-term memory through a decaying temporal correlation within the trajectory. We provide empirical evaluations of our approach in a simulated 2D navigation task, as well as higher-dimensional MuJoCo continuous control locomotion tasks with sparse rewards.

연구 동기 및 목표

• 희박한 보상 환경에서의 효율적 탐색 문제를 해결하기 위해, 기존의 방법들이 밀도 추정이 비현실적이기 때문에 실패하는 연속 제어 환경에서의 도전에 대응한다.
• 이산 상태-행동 표현에 의존하지 않고도, 에이전트가 자신의 궤적에 대한 단기 기억을 유지할 수 있도록 한다.
• 공간적 확산을 촉진하면서 동시에 방향성 지속성을 통해 국소적 함정에 빠지는 것을 방지하는 탐색 전략을 설계한다.
• 이론적으로 탄탄하고 확장 가능하며, 고차원 공간에서 딥 강화 학습 알고리즘과 호환되는 방법을 제공한다.

제안 방법

• PolyRL은 고분자 물리학에서 유래한 자유로운 회전 체인(Free-rotating Chains, FRCs)으로 에이전트의 궤적을 모델링하며, 상관된 행동 시퀀스를 통해 방향성 지속성을 도입한다.
• 궤도의 국소화를 감지하기 위해 반경의 회전율을 산란 척도로 사용하며, 이는 체인의 끊어짐을 유도한다.
• 행동 궤적의 감쇠하는 시간적 상관관계를 도입하여 단기 기억을 시뮬레이션하고 조기 수렴을 방지한다.
• 탐색 인자 β에 의해 제어되는 스위칭 메커니즘이, 탐색 전략과 탐욕 정책 실행 간의 전환을 조절한다.
• 일관된 방향성 이동을 보장하기 위해 관련 각도 θ와 분산 σ²을 사용하여 지속성을 유지한다.
• DDPG 및 SAC와 같은 오프-폴리시 알고리즘과 원활하게 통합되며, 방향성을 유지하기 위해 탐욕 행동을 변형하는 행동 정책를 사용한다.

실험 결과

연구 질문

• RQ1 물리학에서 영감을 얻은 탐색 전략은 희박한 보상 환경에서 연속 제어 작업의 샘플 효율성을 향상시킬 수 있는가?
• RQ2 에이전트는 명시적인 상태-행동 쌍 추적 없이 궤적의 단기 기억을 어떻게 유지할 수 있는가?
• RQ3 국소적으로 자기 회피적 탐색은 고차원 환경에서 상태공간 커버리지에 얼마나 기여하는가?
• RQ4 탐색과 이용의 균형이 희박한 보상 환경에서의 이동 작업 성능에 미치는 영향은 어떠한가?
• RQ5 연속적이고 미분 가능한 탐색 전략은 이산 행동 반복 또는 노이즈 기반 방법보다 우월한가?

주요 결과

• PolyRL은 HalfCheetah-v2 및 Ant-v2와 같은 희박한 보상 환경에서 DDPG-OU, DDPG-FiGAR, SAC 기준 방법보다 뚜렷이 뛰어난 성능을 보였다.
• HalfCheetah-v2에서 β=0.01을 사용한 DDPG-PolyRL은 다른 β 값들보다 높은 점근적 수익을 달성하여 최적의 탐색-이용 균형을 이룬 것으로 나타났다.
• Hopper 및 Ant 작업에서 표준 노이즈 기반 탐색 대비 국소 함정에 빠지는 비율을 40–60% 감소시켰다.
• 반경의 회전율은 궤적의 국소화를 효과적으로 감지하였으며, 시뮬레이션된 탐색 작업에서 95%의 정확도로 체인 끊어짐을 유도하였다.
• SAC-PolyRL은 SparseHalfCheetah-V2(λ=15)에서 최고 성능을 기록하여 300만 스텝 동안 평균 수익이 2500에 도달하였다.
• 탐색 인자 β는 탐욕 행동의 백분율을 직접 제어하는 것으로 밝혀졌으며, β=0.05일 경우 HalfCheetah에서 70%의 이용 비율을 기록하였다.