[논문 리뷰] A Laplacian Framework for Option Discovery in Reinforcement Learning

Marlos C. Machado, Marc G. Bellemare외 1명|arXiv (Cornell University)|2017. 03. 02.

Reinforcement Learning in Robotics참고 문헌 31인용 수 76

한 줄 요약

논문은 proto-value 함수가 eigenpurposes(내재 보상)을 도입하고 eigenbehaviors를 도출함으로써 옵션을 암묵적으로 정의하는 방법을 보여주고, 작업 독립적이고 다중 스케일 탐색 옵션(eigenoptions)을 Laplacian PVFs를 통해 발견하게 한다. 이는 tabular 도메인과 함수 근사화( Atari 게임 포함)에서 이러한 아이디어를 시연한다.

ABSTRACT

Representation learning and option discovery are two of the biggest challenges in reinforcement learning (RL). Proto-value functions (PVFs) are a well-known approach for representation learning in MDPs. In this paper we address the option discovery problem by showing how PVFs implicitly define options. We do it by introducing eigenpurposes, intrinsic reward functions derived from the learned representations. The options discovered from eigenpurposes traverse the principal directions of the state space. They are useful for multiple tasks because they are discovered without taking the environment's rewards into consideration. Moreover, different options act at different time scales, making them helpful for exploration. We demonstrate features of eigenpurposes in traditional tabular domains as well as in Atari 2600 games.

연구 동기 및 목표

• PVFs가 암시적으로 옵션을 정의함으로써 표현 학습과 옵션 발견을 연결한다는 것을 보여준다.
• PVFs에서 파생된 내재 보상 함수로 eigenpurposes를 도입한다.
• eigenbehaviors를 eigenpurposes에 대한 최적 정책으로 정의하고 이를 통해 eigenoptions(개시/해제)를 도출한다.
• eigenoptions가 다양한 도메인(표 형 도메인 및 함수 근사)을 통한 탐색과 학습을 개선한다는 것을 시연한다.
• 대규모 상태 공간과 Atari와 같은 AMI에 적용 가능한 근사(샘플 기반) eigenoption 발견 방법을 제공한다.

제안 방법

• 정규화된 그래프 라플라시안으로 상태 공간의 대규모 기하를 포착하는 PVFs를 얻는다.
• PVF 고유벡터 e와 상태 특징 벡터 φ를 사용하여 eigenpurpose r_i^e(s,s') = e^T(φ(s') - φ(s))를 정의한다.
• eigenpurpose로부터의 내재 보상과 명시적 종료 액션을 갖는 보강된 MDP M_i^e를 구성한다.
• 각 eigenpurpose에 대해 누적 내재 보상을 최대화하는 정책으로 eigenbehaviors를 도출한다.
• 개시 집합에서 양의 Q-값이 존재하고 모든 행동에 대해 q^e(s, a) <= 0인 경우 종료되는 정책으로 eigenoptions를 구성한다.
• 전체 인접 행렬 없이도 incident matrix T와 SVD를 이용해 eigenpurposes를 복원하는 샘플 기반 방법을 제공하며, 선형 함수 근사로 확장 가능하다.

실험 결과

연구 질문

• RQ1 PVFs를 이용해 보상 정보 없이도 유용한 작업 독립 옵션(eigenoptions)을 자동으로 유도할 수 있는가?
• RQ2 eigenoptions가 서로 다른 시간 스케일에서 작동하고 상태 공간 전역에서의 쉬운 시퀀싱을 가능하게 하여 탐색을 개선하는가?
• RQ3 eigenoptions가 병목점 중심의 옵션보다 탐색에 더 효과적인가?
• RQ4 샘플 기반 절차를 통해 기능 근사와 대규모 환경(예: Atari)에서 eigenoptions를 발견할 수 있는가?
• RQ5 few vs many eigenoptions가 학습 효율성과 최종 성능에 어떤 영향을 미치는가?

주요 결과

• Eigenoptions는 전통적 병목점에 집중하기보다는 상태 공간의 주요 방향을 따라가는 경향이 있다.
• eigenpurposes를 통해 발견된 옵션은 다중 시간 스케일과 쉬운 시퀀싱을 가능하게 하여 탐색을 개선한다.
• 많은 도메인에서 eigenoptions는 보상 축적과 학습을 가속화하지만 너무 적으면 탐색에 제약이 있을 수 있다.
• 병목점 전용 옵션은 탐색을 저해할 수 있는 반면, eigenoptions는 다양한 도메인에서 더 강건한 탐색 패턴을 제공한다.
• 샘플 기반의 인시던스 매트릭스/ SVD 방법은 eigenoptions를 근사하고 선형 함수 근사로 확장 가능하며, Atari 스타일 과제에서 의미 있는 옵션의 존재를 시사한다.