[논문 리뷰] Policy Continuation with Hindsight Inverse Dynamics

Hao Sun, Zhizhong Li외 3명|arXiv (Cornell University)|2019. 10. 30.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

이 논문은 목표 지향 강화 학습에서 샘플 효율성을 향상시키기 위해 자기 모방을 통한 후행 역동성 역할을 활용하는 새로운 방법인 정책 계속하기를 위한 후행 역역학적 동역학(PCHID)을 제안한다. 역동성에 기반한 재표기된 전이로부터 행동을 학습함으로써, PCHID는 온정책 및 오프정책 알고리즘 양쪽 모두를 향상시키며, PPO와 HER에 비해 GridWorld 및 FetchReach 환경에서 뛰어난 성능과 데이터 효율성을 달성한다.

ABSTRACT

Solving goal-oriented tasks is an important but challenging problem in reinforcement learning (RL). For such tasks, the rewards are often sparse, making it difficult to learn a policy effectively. To tackle this difficulty, we propose a new approach called Policy Continuation with Hindsight Inverse Dynamics (PCHID). This approach learns from Hindsight Inverse Dynamics based on Hindsight Experience Replay, enabling the learning process in a self-imitated manner and thus can be trained with supervised learning. This work also extends it to multi-step settings with Policy Continuation. The proposed method is general, which can work in isolation or be combined with other on-policy and off-policy algorithms. On two multi-goal tasks GridWorld and FetchReach, PCHID significantly improves the sample efficiency as well as the final performance.

연구 동기 및 목표

• 희박한 보상 문제를 해결하기 위해, 기존 방법이 경험 수집이 비효율적이기 때문에 어려움을 겪는 목표 지향 강화 학습의 과제를 해결한다.
• 시간 차분 또는 정책 기울기 최적화에 의존하지 않고도 온정책 및 오프정책 알고리즘을 모두 향상시킬 수 있는 일반적인 방법을 개발한다.
• 실패한 경험을 후행적으로 재표기하고 역역학을 통해 학습함으로써 데이터 효율성을 향상시킨다.
• 후행 경험 재편성(HER)을 온정책 설정으로 확장하기 위해 역역학 기반 자기 모방 메커니즘을 도입한다.
• 상태-목표 공간에서 부분 정책 학습을 통해 정책 계속하기를 가능하게 하여 계층적 및 커리큘럼 스타일 학습을 촉진한다.

제안 방법

• 상태-목표 공간을 분할하고 중간 목표를 위한 부분 정책을 학습함으로써 다중 목표 강화 학습을 위한 정책 계속하기(PC) 프레임워크를 도입한다.
• 실패한 전이를 후행 목표로 재표기하는 후행 역역학(HID)을 제안하며, 이는 상태와 다음 상태 쌍에서 행동 예측을 가능하게 한다.
• 후행 재표기된 전이에서 자기 모방을 통한 역전파를 사용하여, 시간 차분 또는 정책 기울기 의존 없이 지도 학습 방식으로 정책 네트워크를 훈련시킨다.
• PCHID를 온정책(PPO 등) 및 오프정책 알고리즘과 함께 사용할 수 있는 플러그인 모듈로 통합하며, 공동 훈련, 출력 평균화 또는 내재 보상 조정을 통해 통합한다.
• 원본 전이와 재표기된 전이를 모두 저장하는 리플레이 버퍼를 사용하며, 재표기 과정에서 롤아웃 중 관찰된 대체 목표에 성공을 할당한다.
• 연속 제어 작업에 적용하기 위해 상태 및 목표 임베딩을 사용하며, 재표기된 전이에서 지도 학습을 통해 행동 예측을 훈련시킨다.

실험 결과

연구 질문

• RQ1 기존로 시간 차분 학습에 의존하는 온정책 강화 학습 알고리즘에 후행 지식을 효과적으로 확장할 수 있는가?
• RQ2 후행 재표기 기반으로 역역학을 목표 지향 설정에 적응시켜 희박한 보상에서의 정책 학습을 향상시킬 수 있는가?
• RQ3 후행 역역학적 자기 모방을 통해 샘플 효율성과 최종 성능이 다중 목표 강화 학습 과제에서 뚜렷이 향상되는가?
• RQ4 PCHID는 아키텍처나 훈련 방식의 변경 없이 다양한 온정책 및 오프정책 알고리즘과 탄력적으로 통합될 수 있는가?
• RQ5 학습 속도, 성공률, 보상 스케일링에 대한 강건성 측면에서 PCHID는 HER 및 PPO와 비교해 어떻게 다른가?

주요 결과

• PCHID는 FetchReach 환경에서 표준 PPO 및 HER 기반 PPO보다 샘플 효율성이 뛰어나며, 특히 초기 훈련 단계에서 두드러진 성능 향상을 보였다.
• PPO와의 공동 훈련 전략이 모든 조합 방법 중에서 가장 뛰어난 성능을 달성했으며, 하이퍼파rameter 조정이 필요하지 않았다.
• PCHID는 보상 스케일링에 강건하다: PPO는 보상 크기(예: 10 vs. 0)에 민감한 반면, PCHID는 보상 값에 관계없이 일관된 성능 유지를 보였다.
• GridWorld에서는 PCHID를 PPO와 결합한 결과 PPO 단독보다 더 높은 정확도를 달성했으며, 공동 훈련 전략이 출력 평균화 및 내재 보상 방법보다 뛰어났다.
• PCHID를 HER 기반 PPO와 조합하면 최고의 최종 성능을 기록했으며, 이는 PCHID가 기존 오프정책 방법과 효과적으로 보완됨을 보여준다.
• 메서드는 환경 간에 잘 일반화되며, 이산적(예: GridWorld) 및 연속 제어(예: FetchReach) 과제 모두에서 일관된 성능 향상을 보였다.