[논문 리뷰] Learnings Options End-to-End for Continuous Action Tasks

Martin Klissarov, Pierre‐Luc Bacon외 2명|arXiv (Cornell University)|2017. 11. 30.

Reinforcement Learning in Robotics참고 문헌 7인용 수 33

한 줄 요약

이 논문은 지연 정책 최적화(PPO)와 고려할 비용을 통합한 옵션-크리틱 아키텍처를 사용하여 연속 제어 작업을 위한 엔드 투 엔드 딥 강화 학습 접근법을 제안한다. 이는 시간적으로 연장된 옵션을 학습한다. 결과적으로 표본 효율성과 성능 향상이 확인되었으며, 특히 HopperIceBlock-v0와 같은 조합형 환경에서 기초 동작만으로는 달성할 수 없는 작업을 해결할 수 있음을 보여준다.

ABSTRACT

We present new results on learning temporally extended actions for continuoustasks, using the options framework (Suttonet al.[1999b], Precup [2000]). In orderto achieve this goal we work with the option-critic architecture (Baconet al.[2017])using a deliberation cost and train it with proximal policy optimization (Schulmanet al.[2017]) instead of vanilla policy gradient. Results on Mujoco domains arepromising, but lead to interesting questions aboutwhena given option should beused, an issue directly connected to the use of initiation sets.

연구 동기 및 목표

• 딥 신경망을 사용하여 연속 제어 환경에서 옵션의 엔드 투 엔드 학습을 가능하게 하기 위해.
• PPO를 옵션-크리틱 프레임워크와 통합하여 표본 효율성과 학습 안정성을 향상시키기 위해.
• 고려할 비용이 옵션 학습과 성능에 미치는 영향을 다양한 환경에서 조사하기 위해.
• 명확한 상태공간 조합성(Compositionality)을 가진 환경에서 계층적 옵션이 이점을 가지는지 평가하기 위해.
• 옵션 수의 수동 지정이 필요한지, 그리고 옵션 선택에서 초기화 집합의 역할을 탐색하기 위해.

제안 방법

• 기본 정책 기울기 대신 PPO를 사용하여 옵션 내 정책 및 종료 조건을 엔드 투 엔드로 학습하기 위해 옵션-크리틱 아키텍처를 변형하였다.
• 옵션 붕괴를 방지하기 위해 최소 성능 확보를 요구하는 고려할 비용(η)을 도입하였다.
• 이중 스트림 신경망을 사용: 하나는 옵션에 대한 정책 및 가치 함수를 위해, 다른 하나는 종료 확률 및 상태-옵션 가치를 위해.
• 안정적인 이점 함수 추정을 위해 일반화된 이점 추정(GAE)을 적용하고, 학습 안정성을 높이기 위해 확률 비율을 클리핑하였다.
• 종료 기울기 업데이트를 안정화하기 위해 옵션 기반 학습에서 보상 값을 1/10으로 스케일링하였다.
• Schulman 등(2017)의 동일한 초모수를 사용하였으며, 공정한 비교를 위해 옵션 수에 따라 미니배치 크기만 조정하였다.

실험 결과

연구 질문

• RQ1 PPO는 옵션-크리틱 아키텍처와 효과적으로 통합되어 연속 제어 작업에서 옵션을 학습할 수 있는가?
• RQ2 고려할 비용(η)은 학습된 옵션의 출현과 성능에 어떤 영향을 미치는가?
• RQ3 어떤 유형의 환경에서 옵션이 기초 동작보다 뚜렷한 성능 우월성을 발휘하는가?
• RQ4 옵션의 해석 가능성은 조합형 작업에서의 효과성과 어떤 관련이 있는가?
• RQ5 옵션 수는 어느 정도 초모수이며, 이를 엔드 투 엔드로 학습할 수 있는가?

주요 결과

• PPO를 강화한 옵션-크리틱 프레임워크는 기초 동작 기반 베이스라인 대비 대부분의 Mujoco 환경에서 더 빠른 학습과 높은 최종 성능를 달성하였다.
• HopperIceBlock-v0 환경에서 유일하게 옵션 기반 에이전트만 1200점의 성공 기준에 도달하였으며, 이는 조합형 작업에서의 핵심 성능 우월성을 입증하였다.
• 옵션의 성능 향상은 고려할 비용(η)에 직접적인 비례하지 않았으며, 초모수 선택과 환경 스케일링에 민감함을 시사하였다.
• 한 옵션은 평탄한 지형에서 점프하는 데 전문화되어 있었고, 다른 옵션은 미끄러운 얼음 블록을 횡단하는 데 기여하여 명확한 해석 가능성과 기능적 조합성을 보였다.
• 표준 Mujoco 환경에서는 옵션이 주로 에피소드 시작 시에 운동량을 확보하기 위해 사용되어 기능적 다양성이 제한됨을 보였다.
• 결과적으로 옵션의 이점은 명시적인 상태공간 조합성을 가진 환경에서 가장 두드러지며, 현재 옵션 프레임워크가 균일한 환경에서는 핵심적인 한계를 지닌다는 점을 시사한다.