[논문 리뷰] Maximum Entropy Gain Exploration for Long Horizon Multi-goal Reinforcement Learning

Silviu Pitis, Harris Chan외 3명|arXiv (Cornell University)|2020. 07. 06.

Reinforcement Learning in Robotics인용 수 38

한 줄 요약

논문은 MEGA와 OMEGA를 소개하며, 과거에 달성된 목표 분포의 엔트로피를 최대화하는 intrinsic goal selection 방법으로 장기-목표 RL에서의 효율적 탐색을 가능하게 하고, 기존 방법에 비해 상당한 샘플 효율성 개선을 달성한다.

ABSTRACT

What goals should a multi-goal reinforcement learning agent pursue during training in long-horizon tasks? When the desired (test time) goal distribution is too distant to offer a useful learning signal, we argue that the agent should not pursue unobtainable goals. Instead, it should set its own intrinsic goals that maximize the entropy of the historical achieved goal distribution. We propose to optimize this objective by having the agent pursue past achieved goals in sparsely explored areas of the goal space, which focuses exploration on the frontier of the achievable goal set. We show that our strategy achieves an order of magnitude better sample efficiency than the prior state of the art on long-horizon multi-goal tasks including maze navigation and block stacking.

연구 동기 및 목표

• 장거리-보상 희소성으로 인해 장기간 멀티-목표 학습의 어려움을 동기화한다.
• 과거 달성 목표의 엔트로피를 최대화하는 내재적 목표 설정으로 탐험을 촉진한다.
• unsupervised MEGA와 감독형 목표 분포를 혼합하는 차감된 목표(OMEGA)를 도입한다.
• 밀도 기반의 프런티어 중심 탐색이 장기-목표에서 샘플 효율성을 개선하는 방법을 보여준다.

제안 방법

• MEGA를 historical achieved goal distribution의 엔트로피를 최대화하여 pdg와 pag가 겹치지 않을 때 탐색을 확장하도록 정의한다.
• OMEGA를 MEGA에서 현재 분포-일치 objective로 전이하는 혼합(현재 지지에 대한 균등 분포와의 혼합)을 사용하는 annealed objective로 공식화한다.
• 저학습 밀도 모델을 사용하여 pag의 저밀도 영역에서 행동적 목표를 선택하는 실용적 SELECT 메커니즘(MEGA SELECT)을 제안한다.
• 최소-밀도 휴리스틱을 오로리 기법의 tractable approximation으로 제시하고, 버퍼에서 후보 목표를 샘플링한 뒤 가장 밀도가 낮은 것을 선택한다.
• 효율성을 달성하기 위해 hindsight 경험 재생 및 off-policy 학습(DDPG)과 통합한다.
• empowerment와 DISCERN, RIG, Skew-Fit 등의 기존 내재적 동기 방법과의 연결 고리를 논한다.

실험 결과

연구 질문

• RQ1 Intrinsic goal setting을 멀티-목표 RL의 장기간 탐색 문제를 해결하기 위해 어떻게 공식화할 수 있는가?
• RQ2 과거 달성 목표 분포의 엔트로피를 최대화하는 것이 희소 보상, 장기간 과제의 학습을 가속화할 수 있는가?
• RQ3 annealed MEGA/OMEGA objective가 기존 목표 재라벨링 Baseline 대비 샘플 효율성을 향상시키는가?
• RQ4 연속적이고 고차원적 목표 공간에서 최적의 엔트로피 이득을 근사하는 실용적 SELECT 전략은 무엇인가?

주요 결과

• MEGA 중심의 탐색은 달성된 목표 분포의 엔트로피를 벤치마크보다 더 빨리 증가시킨다.
• OMEGA는 내재적 MEGA 탐색에서 원하는 목표 분포를 추구하는 방향으로 효과적으로 전이되며 안정성과 효율성을 유지한다.
• MEGA/OMEGA는 장기-목표 과제(미로 탐색 및 블록 쌓기)를 이전의 최첨단 Baseline 대비 상당히 높은 샘플 효율성으로 해결한다.
• 최소-밀도 목표 선택이 장기-목표 과제에서 다양성 또는 달성된 목표 샘플링보다 우수하다.
• 실험적 결과는 MEGA/OMEGA가 이전 방법보다 원하는 목표 영역에 훨씬 더 빠르게 도달함을 보여주며, 예를 들어 이전 접근이 어려움을 겪던 과제를 해결한다.