[논문 리뷰] The Eigenoption-Critic Framework

Miao Liu, Marlos C. Machado외 2명|arXiv (Cornell University)|2017. 12. 11.

Reinforcement Learning in Robotics참고 문헌 22인용 수 7

한 줄 요약

Eigenoption-Critic (EOC) 프레임워크는 상태공간 그래프 라플라시안 고유벡터에서 유도된 내재 보상과 함께 고유옵션을 옵션-크리틱 아키텍처에 통합하여, 옵션과 정책의 엔드 투 엔드 학습을 가능하게 한다. Nyström 근사법을 통해 이는 이산 및 연속 상태공간 모두를 지원하며, 변화하는 목표에 빠르게 적응할 수 있도록 해, 비정상적인 환경에서 표준 옵션-크리틱보다 뛰어난 성능을 발휘한다.

ABSTRACT

Eigenoptions (EOs) have been recently introduced as a promising idea for generating a diverse set of options through the graph Laplacian, having been shown to allow efficient exploration. Despite its initial promising results, a couple of issues in current algorithms limit its application, namely: (1) EO methods require two separate steps (eigenoption discovery and reward maximization) to learn a control policy, which can incur a significant amount of storage and computation; (2) EOs are only defined for problems with discrete state-spaces and; (3) it is not easy to take the environment's reward function into consideration when discovering EOs. To addresses these issues, we introduce an algorithm termed eigenoption-critic (EOC) based on the Option-critic (OC) framework [Bacon17], a general hierarchical reinforcement learning (RL) algorithm that allows learning the intra-option policies simultaneously with the policy over options. We also propose a generalization of EOC to problems with continuous state-spaces through the Nyström approximation. EOC can also be seen as extending OC to nonstationary settings, where the discovered options are not tailored for a single task.

연구 동기 및 목표

• 기존 고유옵션 방법의 한계를 해결하기 위해, 별도의 훈련 단계, 이산 상태공간에 제한된 제약, 환경 보상과의 통합 부족을 해결하고자 한다.
• 고유옵션 탐색과 정책 학습을 하나의 엔드 투 엔드 프레임워크로 통합하여 온라인 학습을 지원하고자 한다.
• 연속 상태공간으로의 고유옵션 확장에 있어 Nyström 근사법을 활용하여 고유벡터를 보간함으로써 가능하게 하고자 한다.
• 변화하는 목표 위치를 포함한 비정상적인 환경에서 샘플 효율성과 적응 능력을 향상시키고자 한다.
• 재훈련 없이도 태스크 간 일반화가 가능한 이식 가능하고 다양한 옵션을 제공하고자 한다.

제안 방법

• 옵션-크리틱 아키텍처에 상태공간 그래프 라플라시안의 고유벡터를 기반으로 한 내재 보상 요소를 추가하여 고유의도(eigenpurposes)를 형성한다.
• 외재 보상과 고유의도 기반 내재 보상을 조합한 하이브리드 보상 신호를 사용하여 정책 학습을 이끌어낸다.
• 연속 영역에서 샘플링된 상태에서 유도된 고유벡터를 새로운 미사용 상태로 일반화하기 위해 Nyström 근사법을 적용한다.
• 온라인 학습 중 Nyström 기반 고유함수 보간을 위해 효율적으로 k개 이웃을 찾기 위해 Kd-트리를 활용한다.
• 정책 그래เดียน트 방법을 활용하여 복합 보상 신호를 사용해 내부 옵션 정책과 옵션 종료 조건을 동시에 최적화한다.
• 학습 목표에서 내재 보상과 외재 보상 기여도를 조절하기 위해 혼합 계수 α를 도입한다.

실험 결과

연구 질문

• RQ1 기존 방법의 이중 단계 훈련 방식을 피하는 통합형 엔드 투 엔드 학습 프레임워크에 고유옵션을 통합할 수 있는가?
• RQ2 고유옵션을 연속 상태공간으로 확장하면서도 탐색 이점을 유지할 수 있는가?
• RQ3 외재 보상과 내재 고유의도 보상을 조합함으로써 비정상적인 환경에서 학습 효율성이 향상되는가?
• RQ4 EOC 프레임워크는 목표 위치가 변화하는 작업에서 표준 옵션-크리틱보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 결과적으로 도출된 옵션은 재훈련 없이도 다양한 태스크 간에 다양하고 이식 가능하게 일반화되는가?

주요 결과

• 주기적으로 목표가 변경되는 4-방 탐색 작업에서, α=0.75를 사용한 EOC는 목표 이동 후의 태스크에서 표준 옵션-크리틱보다 뚜렷하게 뛰어난 성능을 보였다.
• 동일한 작업에서 EOC는 내재 고유의도 보상에 의해 더 효율적인 탐색이 가능해져 새로운 목표 위치에 더 빠르게 적응하는 것으로 나타났다.
• 연속 상태 핀볼 도메인에서, α=0.5를 사용한 EOC는 초기 목표 변경 이후 모든 태스크에서 할인되지 않은 수익에서 OC를 능가했다. 특히 후속 태스크에서 두드러진 성능 향상을 보였다.
• Nyström 근사법의 사용으로 연속 영역에서 새로운 상태로의 고유함수 일반화가 효과적으로 이루어졌으며, 선형 함수 근사법을 사용함에도 불구하고 성능 유지가 가능했다.
• 학습 가능한 혼합 계수 α를 통해 내재 보상과 외재 보상을 조합함으로써, EOC는 비정상 설정에서 더 뛰어난 샘플 효율성과 더 빠른 수렴을 달성했다.
• 이 프레임워크는 이전 고유옵션 방법의 세 가지 핵심 한계를 성공적으로 해결했다: 이중 단계 학습, 이산 상태공간 제약, 보상 통합 부족