[논문 리뷰] Variational Option Discovery Algorithms

Joshua Achiam, Harrison Edwards외 2명|arXiv (Cornell University)|2018. 07. 26.

Reinforcement Learning in Robotics참고 문헌 18인용 수 82

한 줄 요약

본 논문은 궤적으로부터 디코딩하는 변분 옵션 발견 방법 VALOR를 소개하고, 수백 가지의 다양한 행동을 스케일 가능하게 학습하기 위한 커리큘럼 전략을 제시합니다. 또한 VALOR를 VIC와 DIAYN과 비교하고 하위 작업의 적용 가능성과 한계를 탐구합니다.

ABSTRACT

We explore methods for option discovery based on variational inference and make two algorithmic contributions. First: we highlight a tight connection between variational option discovery methods and variational autoencoders, and introduce Variational Autoencoding Learning of Options by Reinforcement (VALOR), a new method derived from the connection. In VALOR, the policy encodes contexts from a noise distribution into trajectories, and the decoder recovers the contexts from the complete trajectories. Second: we propose a curriculum learning approach where the number of contexts seen by the agent increases whenever the agent's performance is strong enough (as measured by the decoder) on the current set of contexts. We show that this simple trick stabilizes training for VALOR and prior variational option discovery methods, allowing a single agent to learn many more modes of behavior than it could with a fixed context distribution. Finally, we investigate other topics related to variational option discovery, including fundamental limitations of the general approach and the applicability of learned options to downstream tasks.

연구 동기 및 목표

• extrinsic rewards 없이 옵션(기술) 발견을 위한 변분 추론 방법을 조사한다.
• 변분 옵션 발견과 변분 오토인코더 간의 연결을 확립한다.
• 궤적 디코드 기반 옵션 발견 방법인 VALOR를 제안한다.
• 학습의 안정성과 가속화를 위한 커리큘럼 학습을 도입한다.
• 학습된 옵션의 다양성, 정성적 특성, 잠재적 하위 작업 활용성을 평가한다.

제안 방법

• 옵션 발견을 정책을 통해 궤적으로 인코딩된 컨텍스트 c를 궤적으로 디코딩하는 변분 목적을 최대화하는 문제로 형식화한다.
• 목적이 beta-VA E와 유사한 bound와 정합한다는 것을 보이며, VIC/DIAYN을 VAE 템플릿과 연결한다.
• 액션은 관찰하지 않고, 디코더가 궤적의 차이로부터 컨텍스트를 디코드하는 VALOR를 제안하며, 양방향 LSTM을 사용해 궤적 차이에서 컨텍스트를 디코드한다.
• 디코더의 성능이 향상될 때(임계값 기반 성장) 컨텍스트 수 K를 점진적으로 증가시키는 커리큘럼을 구현한다.
• 커리큘럼 여부에 따라 VALOR, VIC, DIAYN을 로봄 환경(포인트 질량, Half-Ccheetah, Swimmer, Ant)에서 비교; 순환 정책과 정책 경사 학습을 사용한다.
• 사전 학습된 VALOR 정책을 계층적 Ant-Maze 작업의 하위 레벨로 통합해 하위 작업 잠재력을 탐색한다.

실험 결과

연구 질문

• RQ1 자질 추론 원리를 적용하여 과제별 보상 없이도 다양한 옵션을 발견할 수 있는가?
• RQ2 변분 옵션 발견 방법과 변분 오토인코더 간의 관계는 무엇이며, 이를 통해 새로운 알고리즘은 어떻게 이끌 수 있는가?
• RQ3 컨텍스트 복잡성을 확장하는 커리큘럼이 학습 안정성을 높이고 수백 개의 모드를 학습 가능하게 하는가?
• RQ4 VALOR, VIC, DIAYN은 서로 다른 로봇 환경에서 다양성, 학습 속도, 정성적 행동 면에서 어떻게 비교되는가?
• RQ5 학습된 옵션이 하위 계층 제어 작업에 useful한가?

주요 결과

• VALOR는 컨텍스트를 궤적에 인코드하고 궤적으로부터 컨텍스트를 디코드하여 다양하고 궤적 중심의 행동을 촉진한다.
• 컨텍스트 수를 점진적으로 증가시키는 커리큘럼은 VALOR, VIC, DIAYN 전반의 학습 안정성과 속도를 향상시킨다.
• 세 가지 방법 모두 비슷한 전반적 성능으로 여러 로봇 동작 모드를 학습하지만, VALOR는 궤적 중심의 디코딩으로 인해 질적으로 다른 행동을 생성한다.
• DIAYN은 더 밀집한 보상 신호로 인해 학습 속도가 더 빠르게 나타나는 경향이 있으며, VALOR는 원운동과 같은 역학적 모드를 강조한다.
• 더 큰 컨텍스트 세트(예: 최대 64 컨텍스트)에서 더 빠르게 숙련을 달성하고 시드 간 결과도 더 견고하다.
• 손 도구 환경은 자연스러운 손가락 행동을 만들어내고, 고차원 휴머노이드 환경(Toddler)은 더 도전적이며 순수 정보이론적 목적의 한계를 시사한다.
• 사전 학습된 VALOR 정책은 계층적 하위 작업에서 유용한 하위 정책으로 사용할 수 있으며, 처음부터 학습된 정책이나 비계층적 정책과 비슷한 성능을 보인다.