[논문 리뷰] Relative Variational Intrinsic Control

Kate Baumli, David Warde-Farley외 2명|arXiv (Cornell University)|2020. 12. 14.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 상대적 변동성 내재 제어(RVIC)를 제안하며, 초기 상태와 최종 상태 양쪽에서의 스킬 예측 가능성을 최대화하고, 최종 상태만으로의 예측 가능성을 최소화함으로써 다양하고 일반화 가능한 스킬을 학습하는 스킬 탐색 방법이다. RVIC는 에이전트가 상태 공간 전반에 걸쳐 일반화 가능한 기능 기반 스킬을 학습할 수 있도록 하여, 아타리 및 딥마인드 컨트롤 스위트 환경에서 계층 강화 학습 설정에서 이전 방법들을 능가한다.

ABSTRACT

In the absence of external rewards, agents can still learn useful behaviors by identifying and mastering a set of diverse skills within their environment. Existing skill learning methods use mutual information objectives to incentivize each skill to be diverse and distinguishable from the rest. However, if care is not taken to constrain the ways in which the skills are diverse, trivially diverse skill sets can arise. To ensure useful skill diversity, we propose a novel skill learning objective, Relative Variational Intrinsic Control (RVIC), which incentivizes learning skills that are distinguishable in how they change the agent's relationship to its environment. The resulting set of skills tiles the space of affordances available to the agent. We qualitatively analyze skill behaviors on multiple environments and show how RVIC skills are more useful than skills discovered by existing methods when used in hierarchical reinforcement learning.

연구 동기 및 목표

• 기존의 스킬 탐색 방법이 최종 상태에만 기반해 상태 공간을 삼등분하는 비의미한 다양성을 갖는 문제를 해결하기 위해.
• 스킬이 끝나는 위치가 아니라, 에이전트의 환경에 대한 관계를 어떻게 변화시키는지에 따라 다양성을 갖는 스킬을 학습하기 위해.
• 후속 계층 강화 학습 작업을 위해 더 조합 가능하고 일반화 가능한 스킬을 가능하게 하기 위해.
• 최종 상태 클러스터링이 아니라, 에이전트-환경 상호작용에서 발생하는 행동 가능성(기능)의 관점에서 스킬 다양성을 정식화하기 위해.
• RVIC를 통해 학습된 스킬이 VIC, DIAYN, 또는 VALOR의 스킬보다 계층 강화 학습 설정에서 더 유용한가를 입증하기 위해.

제안 방법

• RVIC는 이중 역예측 목표를 도입한다: 하나는 궤적의 첫 번째 및 마지막 상태에서 스킬을 예측하고, 다른 하나는 마지막 상태만으로 스킬을 예측한다.
• 스킬과 (s₀, sₜ) 간의 상호정보량을 최대화하고, 스킬과 sₜ만 간의 상호정보량을 최소화하기 위해, 상호정보량의 변동성 하한을 사용한다.
• 이 이중 목표는 스킬이 초기 상태에 비해 구분 가능하게 하여, 최종 상태에만 기반한 상태 공간의 비의미한 분할을 방지한다.
• 스킬 정책은 이중 역예측기들을 통해 탐색과 스킬 다양성을 장려하는 강화 학습 목표를 통해 훈련된다.
• 훈련을 안정화시키기 위해 이산적이고 균일하게 샘플링된 스킬 사전과 고정 길이의 스킬 에피소드를 사용한다.
• 이 방법은 아타리 및 딥마인드 컨트롤 스위트와 같은 픽셀 기반 환경에 적용되어, 명시적 상태 표현 없이도 스킬 학습이 가능함을 보여준다.

실험 결과

연구 질문

• RQ1 스킬 탐색 방법은 특정 최종 상태에 집중하는 대신, 상태 공간의 다양한 영역으로 일반화 가능한 다양성을 갖는 스킬을 학습할 수 있는가?
• RQ2 초기 상태와 최종 상태에 기반한 스킬 구분 가능성 유도가 계층 강화 학습에서 더 유용한 스킬을 만들어내는가?
• RQ3 최종 상태만이 아니라 상대적 상태 전이(s₀, sₜ)에 기반한 스킬 학습 목표가 기능 유사 행동을 생성할 수 있는가?
• RQ4 픽셀 기반 환경에서 RVIC는 VIC, DIAYN, VALOR와 비교해 스킬 품질과 후속 작업 성능 측면에서 어떻게 성과를 내는가?
• RQ5 명시적 상태 표현이나 연속적 스킬 공간에 의존하지 않고도 RVIC는 의미 있는, 이식 가능한 스킬을 학습할 수 있는가?

주요 결과

• RVIC는 스킬이 궤적의 끝에서 어디에 도달하는지가 아니라, 에이전트의 환경에 대한 관계를 어떻게 변형시키는지에 따라 식별 가능하게 학습한다.
• RVIC가 탐색한 스킬은 VIC, DIAYN, VALOR의 스킬보다 더 일반화 가능하고 조합 가능하며, 초기 상태와 최종 상태 양쪽에 의존한다.
• 계층 강화 학습 환경에서 RVIC 스킬은 아타리 환경에서 기준 방법보다 더 높은 샘플 효율성과 더 나은 성능을 달성한다.
• RVIC는 아타리 및 딥마인드 컨트롤 스위트 환경에서 원시 픽셀에서 기능 유사 스킬을 성공적으로 학습하여, 시각적 관측 공간에의 적용 가능성을 입증한다.
• 메서드는 최종 상태에만 기반한 비의미한 스킬 세트를 피하고, 다양한 초기 상태에 걸쳐 일반화되는 스킬을 학습한다.
• 실험 결과는 RVIC 스킬이 다양한 초기 조건에서 스킬 조합이 이루어지는 경우, 더 나은 전이와 계획 성능을 제공함을 보여준다.