[논문 리뷰] Disentangled Cumulants Help Successor Representations Transfer to New Tasks

Christopher Grimm, Irina Higgins외 6명|arXiv (Cornell University)|2019. 11. 25.

Reinforcement Learning in Robotics참고 문헌 31인용 수 7

한 줄 요약

이 논문은 에이전트가 먼저 내재적 호기심을 통해 분리된 특징과 제어 정책을 학습한 후, 이러한 정책들을 일반화된 정책 개선(GPI)을 통해 빠르게 다양한 후행 작업을 해결할 수 있도록 하는 이단계 강화학습 프레임워크를 제안한다. 이 방법은 분리된 표현을 활용해 효과적인 정책 재조합을 가능하게 하여, 특히 복잡한 작업에서 기준 모델들보다 훨씬 높은 데이터 효율성과 작업 커버리지 성능을 달성한다.

ABSTRACT

Biological intelligence can learn to solve many diverse tasks in a data efficient manner by re-using basic knowledge and skills from one task to another. Furthermore, many of such skills are acquired without explicit supervision in an intrinsically driven fashion. This is in contrast to the state-of-the-art reinforcement learning agents, which typically start learning each new task from scratch and struggle with knowledge transfer. In this paper we propose a principled way to learn a basis set of policies, which, when recombined through generalised policy improvement, come with guarantees on the coverage of the final task space. In particular, we concentrate on solving goal-based downstream tasks where the execution order of actions is not important. We demonstrate both theoretically and empirically that learning a small number of policies that reach intrinsically specified goal regions in a disentangled latent space can be re-used to quickly achieve a high level of performance on an exponentially larger number of externally specified, often significantly more complex downstream tasks. Our learning pipeline consists of two stages. First, the agent learns to perform intrinsically generated, goal-based tasks in the total absence of environmental rewards. Second, the agent leverages this experience to quickly achieve a high level of performance on numerous diverse externally specified tasks.

연구 동기 및 목표

• 딥 강화학습에서 각 새로운 작업마다 감지 및 제어를 다시 학습하는 데서 비롯하는 지식 전이의 열악함 문제를 해결하기 위해.
• 내재적이고 작업이 없는 상호작용을 통해 재사용 가능한 분리된 정책을 체계적으로 발견하는 방법을 개발하기 위해.
• 소수의 학습된 기초 정책만을 사용하여 외부에서 지정된 목표 기반의 다양한 후행 작업에 빠르게 일반화할 수 있도록 하기 위해.
• 이론적이고 경험적으로 분리된 특징 제어 정책이 GPI를 통해 조합될 경우, 뒤엉킨 또는 비분리된 접근 방식보다 우수한 커버리지와 데이터 효율성을 달성함을 검증하기 위해.

제안 방법

• 에이전트는 외부 보상 없이 환경을 탐색하며 내재적 호기심을 통해 분리된 특징을 학습한다. 이 특징들은 관측 불변 누적치(OIC) 성질을 만족한다고 가정한다.
• 분리된 특징들이 바이닝되어 분할되며, 에이전트는 각 특징을 특정 바이닝 값으로 이끄는 $km$개의 특징 제어 정책을 학습하여 기초 정책 세트를 형성한다.
• 후행 강화학습 단계에서 일반화된 정책 개선(GPI)은 이러한 기초 정책을 조합하여 새로운 작업을 해결한다. 각 목표에 대해 최적의 정책 조합을 선택한다.
• 후속 표현 행렬에 '비대각선 기법'을 적용하여, 추정된 비대각선 항목을 분리된 특징과 할인 인자 $\gamma$로부터 유도된 정확한 값으로 대체함으로써 계산 효율성과 추정 정확도를 향상시킨다.
• 지정된 분리된 특징(예: x/y 위치)을 사용하여 스피리트월드 환경에서 평가를 수행하였으며, 다양한 바이닝 수와 작업 정렬 조건에서 DQN과 DIAYN과의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 내재적이고 작업이 없는 환경에서 학습된 분리된 특징 제어 정책이 GPI를 통해 효과적으로 재조합되어 다양한 후행 작업을 해결할 수 있는가?
• RQ2 GPI 기반 정책 개선 과정에서 분리된 특징을 사용할 경우와 뒤얽힌 특징을 사용할 경우의 데이터 효율성과 작업 커버리지에서의 성능 비교는 어떻게 되는가?
• RQ3 후속 표현 추정에서 비대각선 기법이 계산 효율성과 성능 향상에 기여하는가?
• RQ4 이 방법은 특징 이산화 바이닝 수의 변화와 ERL 바이닝 경계가 후행 작업 목표와 일치하는지 여부에 대해 얼마나 강건한가?

주요 결과

• 분리된 특징 제어 정책를 사용하는 GPI 에이전트는 약 50,000학습 스텝 내에 작업을 해결한 반면, DQN 기준 모델은 400,000 스텝 이상이 소요되어 뚜렷한 데이터 효율성 우위를 보였다.
• 성능 향상은 더 어려운 작업에서 가장 두드러졌으며, DQN 기준 모델이 GPI 에이전트의 성능을 따라잡기 위해 상당히 오랜 시간이 소요되었다.
• 분리된 특징을 기반으로 한 GPI는 뒤얽힌 특징을 기반으로 한 GPI보다 성능이 뛰어나, 효과적인 정책 재조합과 일반화를 위해 분리가 필수적임을 시사한다.
• 비대각선 기법은 계산 효율성과 추정 정확도를 향상시켰으며, 특히 분리된 GPI 설정에서 유의미한 기여를 하였다. 성능에 영향을 주지 않았다.
• 이 방법은 다양한 바이닝 수($m = \{5,7,9\}$)에서 강건했으며, 작업 목표가 ERL 바이닝 경계와 일치할 경우에만 약간의 성능 향상이 관찰되었다.