[논문 리뷰] Learning Goal Embeddings via Self-Play for Hierarchical Reinforcement Learning

Sainbayar Sukhbaatar, Emily Denton외 2명|arXiv (Cornell University)|2018. 11. 22.

Reinforcement Learning in Robotics참고 문헌 18인용 수 15

한 줄 요약

이 논문은 연속적인 목표 임베딩과 저수준 정책을 학습하기 위한 비지도 자기대결 프레임워크를 제안하며, 히에라르키컬 강화학습에서 고수준 정책이 하위목표 벡터를 통해 에이전트를 지시할 수 있도록 한다. 이 방법은 AntGather와 같은 복잡한 작업에서 뛰어난 성능을 달성하여, 적대적 목표 생성을 통해 분리되고 공간적으로 의미 있는 목표 표현을 학습함으로써 비히어런셜 기반 보다 뛰어난 성능을 보인다.

ABSTRACT

In hierarchical reinforcement learning a major challenge is determining appropriate low-level policies. We propose an unsupervised learning scheme, based on asymmetric self-play from Sukhbaatar et al. (2018), that automatically learns a good representation of sub-goals in the environment and a low-level policy that can execute them. A high-level policy can then direct the lower one by generating a sequence of continuous sub-goal vectors. We evaluate our model using Mazebase and Mujoco environments, including the challenging AntGather task. Visualizations of the sub-goal embeddings reveal a logical decomposition of tasks within the environment. Quantitatively, our approach obtains compelling performance gains over non-hierarchical approaches.

연구 동기 및 목표

• 비지도 supervision 없이 히에라르키컬 강화학습에서 효과적이고 일반적인 목적의 저수준 정책과 하위목표 표현을 학습하는 문제에 대응하기 위해.
• 환경의 제어 가능한 동역학을 반영하는 연속적인 목표 벡터를 사용해 고수준 정책이 에이전트를 지시할 수 있도록 하기 위해.
• 비지도 비대칭 자기대결을 통한 저수준 정책 사전 훈련을 통해 샘플 효율성과 희박 보상 환경에서의 성능을 향상시키기 위해.
• 불필요한 환경적 세부 정보를 추상화하면서도 하위목표의 구분 가능성과 달성 가능성을 유지하는 목표 임베딩 공간을 학습하기 위해.

제안 방법

• 비대칭 자기대결을 사용해 저수준 액터(Bob)를 사전 훈련하며, Bob은 목표 벡터를 생성하고 이를 스스로 해결하려고 시도한다.
• 현재 상태와 목표 벡터를 입력으로 받는 목표 조건부 정책 네트워크를 사용해 저수준 행동을 안내한다.
• 두 번째 에이전트(Alice)가 다양한 도전적인 작업을 제안함으로써 정책 붕괴를 방지하고 탐색을 촉진하는 적대적 보상 구조를 활용한다.
• 희박한 작업 보상만을 사용해 고수준 정책(Charlie)을 훈련하며, 각 행동은 50단계의 시간 간격과 목표 벡터의 시퀀스에 대응한다.
• 자신이 제어할 수 있는 상태 차원(예: Ant의 x-y 위치)에 집중하기 위해 자기대결 중에 거리 기반 성공 지표(D)를 사용한다. 이는 높이 또는 관절 각도와 같은 관련 없는 변수를 추상화한다.
• 목표 제안 정책에 엔트로피 정규화를 적용해 목표 공간의 다양성을 유지하고 열악한 해를 피한다.

실험 결과

연구 질문

• RQ1 비지도 자기대결이 다양한 제어 가능한 저수준 행동을 지원하는 일반적인 목적의 연속적 목표 임베딩 공간을 효과적으로 학습할 수 있는가?
• RQ2 자기대결을 통한 사전 훈련이 희박 보상 환경에서 히에라르키컬 RL의 샘플 효율성과 성능을 어떻게 향상시키는가?
• RQ3 학습된 목표 임베딩 공간이 환경 내 의미 있고 분리되며 공간적으로 일관된 하위목표를 얼마나 잘 반영하는가?
• RQ4 고수준 정책이 단지 희박한 작업 수준 보상으로만 훈련되었더라도, 학습된 하위목표들을 조합하여 복잡하고 장기적인 작업에 일반화할 수 있는가?

주요 결과

• 제안된 모델은 AntGather 작업에서 평균 수익 0.5를 달성했으며, PPO, REINFORCE 및 자기대결을 포함한 비히어런셜 기반 보다 양의 보상을 전혀 학습하지 못했다.
• 목표 임베딩의 시각화 결과는 실제 목표의 XY 위치를 반영한 공간적으로 일관된 구조를 보였으며, 제어 가능한 환경의 동역학을 효과적으로 학습했다는 것을 시사한다.
• Bob의 정책은 훈련 중에 관찰된 최대 0.7단계 이내의 거리보다 훨씬 더 긴 거리(6+ 단계)를 커버하는 것으로 나타나, 우수한 일반화 능력을 보였다.
• 시간이 지남에 따라 제안된 목표의 다양성이 증가했으며, 엔트로피 정규화 덕분에 Alice는 모든 방향으로 작업을 제안하는 데에 성공했다.
• 고정된 목표 벡터에 대한 궤적은 목표 위치로 일관되게 이동하는 경향을 보였으며, 이는 목표 임베딩이 정밀한 제어를 가능하게 한다는 것을 확인한다.
• 목표 임베딩 공간은 높이, 관절 각도와 같은 불필요한 상태 차원을 추상화하여, 환경의 제어 가능한 측면에만 집중했다.