[논문 리뷰] Discovery of Options via Meta-Learned Subgoals

Vivek Veeriah, Tom Zahavy외 7명|arXiv (Cornell University)|2021. 02. 12.

Reinforcement Learning in Robotics참고 문헌 48인용 수 5

한 줄 요약

이 논문은 다중 작업 강화 학습에서 임의의 작업에 종속되지 않는 옵션을 발견하기 위해 메타기울기를 사용하는 MODAC를 제안한다. 이는 메타최적화를 통해 하위목표로 정의된 옵션 보상과 종료 조건을 학습한다. 이 방법은 여러 작업을 통합 최적화함으로써 재사용 가능하고 다양한 옵션을 식별함으로써 더 빠른 학습과 더 나은 일반화 성능을 가능하게 한다.

ABSTRACT

Temporal abstractions in the form of options have been shown to help reinforcement learning (RL) agents learn faster. However, despite prior work on this topic, the problem of discovering options through interaction with an environment remains a challenge. In this paper, we introduce a novel meta-gradient approach for discovering useful options in multi-task RL environments. Our approach is based on a manager-worker decomposition of the RL agent, in which a manager maximises rewards from the environment by learning a task-dependent policy over both a set of task-independent discovered-options and primitive actions. The option-reward and termination functions that define a subgoal for each option are parameterised as neural networks and trained via meta-gradients to maximise their usefulness. Empirical analysis on gridworld and DeepMind Lab tasks show that: (1) our approach can discover meaningful and diverse temporally-extended options in multi-task RL domains, (2) the discovered options are frequently used by the agent while learning to solve the training tasks, and (3) that the discovered options help a randomly initialised manager learn faster in completely new tasks.

연구 동기 및 목표

• 사람이 설계한 하위목표 없이 다중 작업 강화 학습에서 유용하고 재사용 가능한 시간적 추상화(옵션)를 자동으로 발견하는 데 도전한다.
• 작업 분포의 공통적인 정규성 패턴을 포괄하는 옵션을 식별함으로써 샘플 효율성과 전이 학습 성능을 향상시킨다.
• 옵션의 보상 함수와 종료 함수를 메타기울기를 통해 동시에 학습하는 스케일러블하고 종단 간(end-to-end)인 방법을 개발한다.
• 옵션 발견 및 후속 작업 학습 속도 측면에서 기존의 계층적 강화 학습 기준선을 능가한다.

제안 방법

• 관리자-작업자 계층적 강화 학습 아키텍처를 사용하며, 관리자가 작업별 수익을 최대화하기 위해 옵션과 기본 동작을 선택한다.
• 옵션 보상 및 종료 함수는 신경망으로 매개변수화되어 여러 훈련 작업을 통해 메타기울기를 사용해 최적화된다.
• 메타기울기는 강화 학습 정책 업데이트를 통해 역전파함으로써, 전체 성능에 대한 영향을 기반으로 옵션 매개변수를 최적화할 수 있도록 한다.
• 이전 방법들이 옵션 지속 시간을 고정하거나 제약하는 것과 달리, 이 방법은 탄력적인 시간 스케일을 가진 옵션을 발견한다.
• 정책 그라디언트 방법을 사용해 관리자 및 옵션 정책을 종단 간(end-to-end)으로 학습하기 위해 통합된 액터-크리틱 프레임워크(MODAC)를 사용한다.
• 다양한 작업을 통해 옵션 행동과 메타목표 성능을 동시에 최적화함으로써, 작업에 종속되지 않는 하위목표를 학습한다.

실험 결과

연구 질문

• RQ1 메타기울기가 다중 작업 강화 학습에서 작업 분포 전반에 걸쳐 유용한 시간적 연장된 옵션을 효과적으로 발견하는 데 사용될 수 있는가?
• RQ2 발견된 옵션은 의미 있고 다양하며 재사용 가능한 행동을 포괄하는가? 이는 학습 효율성을 향상시키는가?
• RQ3 전이 및 샘플 효율성 측면에서, MLSH 및 Option-Critic과 같은 강력한 기준선 대비 발견된 옵션의 성능은 어떠한가?
• RQ4 이 방법은 DeepMind Lab과 같은 복잡하고 실제 세계 환경에 스케일링 가능한가?
• RQ5 옵션 보상과 종료 조건을 통해 학습된 하위목표 사용이 새로운, 알려지지 않은 작업에서 더 빠른 학습을 이끌어내는가?

주요 결과

• qualitative 시각화를 통해, MODAC는 격자 월드 및 DeepMind Lab 환경 모두에서 의미 있고 다양한 시간적 연장된 옵션을 성공적으로 발견하였다.
• 훈련 중에 에이전트가 발견된 옵션을 자주 사용함으로써, 이들이 다양한 작업에서 정책 최적화에 실제로 기여하고 있음을 확인하였다.
• DeepMind Lab 작업에서, MODAC는 평탄한 에이전트(Flat agent)와 두 개의 강력한 기준선(MLSH 및 Option-Critic)보다 새로운, 알려지지 않은 작업에서 더 빠른 학습을 가능하게 하여 뛰어난 전이 성능을 입증하였다.
• 단지 500만 또는 1000만 개의 훈련 샘플만으로도, 모든 샘플을 사용한 평탄한 에이전트보다 MODAC가 승리함으로써, 확장성과 샘플 효율성을 입증하였다.
• 특히 전이가 필요한 경우, 학습 속도와 최종 테스트 작업 성능 측면에서 MODAC는 MLSH 및 Option-Critic보다 더 뛰어난 성능을 달성하였다.
• 제거 실험(ablation study) 결과, 메타기울기를 사용해 옵션 보상 및 종료 함수를 학습하는 것이 유용하고 재사용 가능한 옵션을 발견하는 데 필수적임을 확인하였다.