[논문 리뷰] Keeping Your Distance: Solving Sparse Reward Tasks Using Self-Balancing Shaped Rewards

Alexander T. Trott, Stephan Zheng외 2명|arXiv (Cornell University)|2019. 11. 04.

Reinforcement Learning in Robotics인용 수 31

한 줄 요약

이 논문은 거리-목표 간 거리로 보상 구조를 형성할 때 국소 최적점에 갇히는 것을 방지하기 위해 쌍으로 생성된 롤아웃을 사용하는 자기 균형 보상 구조 방법인 Sibling Rivalry를 제안한다. 형제 트랙젝터리를 비교함으로써 추가적인 보상 설계 없이 다양성 있는 탐색을 장려하며, 미로 탐색 및 마인크래프트에서의 3D 조립과 같은 희박한 보상 과제에서 효율적인 학습을 가능하게 한다. 기존의 보상 구조화 및 내재적 호기심 방법이 실패하는 과제에서도 성능을 발휘한다.

ABSTRACT

While using shaped rewards can be beneficial when solving sparse reward tasks, their successful application often requires careful engineering and is problem specific. For instance, in tasks where the agent must achieve some goal state, simple distance-to-goal reward shaping often fails, as it renders learning vulnerable to local optima. We introduce a simple and effective model-free method to learn from shaped distance-to-goal rewards on tasks where success depends on reaching a goal state. Our method introduces an auxiliary distance-based reward based on pairs of rollouts to encourage diverse exploration. This approach effectively prevents learning dynamics from stabilizing around local optima induced by the naive distance-to-goal reward shaping and enables policies to efficiently solve sparse reward tasks. Our augmented objective does not require any additional reward engineering or domain expertise to implement and converges to the original sparse objective as the agent learns to solve the task. We demonstrate that our method successfully solves a variety of hard-exploration tasks (including maze navigation and 3D construction in a Minecraft environment), where naive distance-based reward shaping otherwise fails, and intrinsic curiosity and reward relabeling strategies exhibit poor performance.

연구 동기 및 목표

• 희박한 보상 과제에서 간단한 거리-목표 간 거리 보상 구조화가 국소 최적점으로 인해 실패하는 문제를 해결하기 위해.
• 영역에 특화된 보상 설계나 외부 모듈 없이도 탐색을 향상시키는 방법을 개발하기 위해.
• 샘플 효율성과 수렴성을 향상시키면서도 원래의 희박한 보상 목표와의 일치를 유지하기 위해.
• 마인크래프트에서의 3D 탐색 및 조립과 같은 어려운 탐색 환경에서 효과적인 학습을 가능하게 하기 위해.
• 기존의 강화학습 프레임워크에 원활하게 통합될 수 있는 일반화 가능한 모델-프리 접근법을 제공하기 위해.

제안 방법

• 같은 정책, 초기 상태, 목표 조건 하에서 독립적으로 샘플링된 두 트랙젝터리(형제 트랙젝터리)를 비교하는 보조 보상 기반의 방법을 도입한다.
• 다른 트랙젝터리와 너무 유사한 행동을 방지하기 위해 자기 균형 보상을 계산함으로써 국소 최적점으로의 수렴을 억제한다.
• 핵심 메커니즘은 형제 트랙젝터리 간의 상대적 거리-목표 거리를 사용해 국소 최적점을 추정하고, 그로부터 멀어지는 탐색을 장려하는 데 사용된다.
• 형성된 보상은 동적으로 조정되며, 정책이 향상되어 목표에 성공적으로 도달함에 따라 원래의 희박한 보상으로 수렴한다.
• 외부 세계 모델이나 호기심 모듈을 학습하거나 유지할 필요 없이 모델-프리 접근법을 사용한다.
• 히에라르키컬 강화학습과도 호환되며, 연속적 및 이산적 행동 공간 모두에 적용 가능하다.

실험 결과

연구 질문

• RQ1 문제에 특화된 보상 설계 없이도 거리-목표 간 거리 보상 구조화가 국소 최적점에 대해 강건하게 작동할 수 있는가?
• RQ2 형제 트랙젝터리 비교가 희박한 보상 환경에서 학습을 안정화하고 조기 수렴을 방지하는 데 효과적인가?
• RQ3 자기 균형 보상 메커니즘이 원래의 작업 목표를 유지하면서도 샘플 효율성을 향상시키는가?
• RQ4 어려운 탐색 과제에서 내재적 호기심과 후행 경험 재표기(Hindsight Experience Replay)와 비교해 본다면 어떻게 성능이 나타나는가?
• RQ5 이 방법은 복잡한 3D 조립 과제를 포함한 다양한 환경으로 일반화 가능한가?

주요 결과

• Sibling Rivalry는 기존의 거리-목표 간 거리 보상 구조화가 실패하는 마인크래프트의 미로 탐색 및 3D 조립 과제를 성공적으로 해결한다.
• 탐색 효율성과 최종 과제 성능 모두에서 내재적 호기심 및 보상 재표기 기반선보다 뛰어난 성능을 기록한다.
• 마인크래프트 환경에서 4806개의 고유한 목표-구조 구성에서 높은 성공률를 달성하여 강력한 일반화 능력을 입증한다.
• 에이전트가 학습을 진행함에 따라 자기 균형 보상은 원래의 희박한 보상으로 수렴하여 정책의 최적성이 유지됨을 보장한다.
• 히에라르키컬 제어 환경에서도 효과적인 학습이 가능하며, 복잡한 작업 구조와의 호환성을 보여준다.
• 실험 결과 형제 트랙젝터리 비교가 국소 최적점을 효과적으로 불안정하게 만들지만, 새로운 안정적인 긁힘을 유도하지는 않는 것으로 확인되었다.