[논문 리뷰] The Option Keyboard: Combining Skills in Reinforcement Learning

André Barreto, Diana Borsa외 9명|arXiv (Cornell University)|2019. 01. 01.

Reinforcement Learning in Robotics인용 수 38

한 줄 요약

이 논문은 선형 공간에서 의사보상(_cumulants_)를 조작함으로써 기술을 통합하는 계층적 강화학습 접근법인 Option Keyboard 프레임워크를 제안한다. 결정론적 옵션을 확장된 상태-행동 공간 내의 cumulants로 표현함으로써, 학습된 cumulants의 선형 조합을 통해 새로운 옵션을 즉각 합성할 수 있으며, 재학습 없이도 복잡한 작업에서 뛰어난 샘플 효율성과 성능을 달성한다.

ABSTRACT

The ability to combine known skills to create new ones may be crucial in the solution of complex reinforcement learning problems that unfold over extended periods. We argue that a robust way of combining skills is to define and manipulate them in the space of pseudo-rewards (or "cumulants"). Based on this premise, we propose a framework for combining skills using the formalism of options. We show that every deterministic option can be unambiguously represented as a cumulant defined in an extended domain. Building on this insight and on previous results on transfer learning, we show how to approximate options whose cumulants are linear combinations of the cumulants of known options. This means that, once we have learned options associated with a set of cumulants, we can instantaneously synthesise options induced by any linear combination of them, without any learning involved. We describe how this framework provides a hierarchical interface to the environment whose abstract actions correspond to combinations of basic skills. We demonstrate the practical benefits of our approach in a resource management problem and a navigation task involving a quadrupedal simulated robot.

연구 동기 및 목표

• 간단한 정책 조합을 넘어서 학습된 기술을 통합하는 데 도전하는 것.
• 정책이 아닌 의사보상(cumulants)의 공간에서 작동함으로써, 추가 학습 없이도 즉각적인 제로샷 옵션 합성 가능하게 하는 것.
• 추상적 행동이 기본 기술의 조합에 해당하는 계층적 인터페이스를 제공하여 시간적 추상화와 계획 능력을 향상시키는 것.
• 기본 기술의 순서 또는 혼합으로는 달성할 수 없는 진정으로 새로운 비정상적 행동이 선형 cumulant 조합을 통해 도출될 수 있음을 보여주는 것.

제안 방법

• 확장된 상태-행동 공간 내에서 결정론적 옵션을 cumulants로 표현함으로써, 옵션에서 cumulants로의 명확한 사상이 가능하도록 하는 것.
• 상속 기능(successor features)을 활용하여 기존 cumulants의 선형 조합에 대한 효율적인 일반화 정책 평가(GPE)를 가능하게 하는 것.
• 다양한 가치 함수를 기반으로 한 일반화 정책 향상(GPI)을 통해 병합된 cumulants 하에서 개선된 정책을 도출하는 것.
• 기본 cumulants의 선형 조합으로 새로운 옵션을 합성함으로써 추가 학습 없이 즉각 구현 가능한 것.
• 옵션 형식론을 사용하여 프레임워크를 공식화함으로써 시간적 추상화와 목표 지향적 행동 보장하는 것.
• Q-러닝 및 DPG 기반 에이전트를 사용하여 MuJoCo 환경에서 자원 관리 작업과 4족 보행 태스크 두 가지 환경에 이 방법을 적용하는 것.

실험 결과

연구 질문

• RQ1 재학습 없이도 의사보상(cumulants) 공간에서 기술을 효과적으로 조합하여 새로운 유용한 행동을 생성할 수 있는가?
• RQ2 기존 정책 조합 또는 기본 옵션 학습과 비교해 복합적인 cumulant 조합을 통한 옵션 통합 방식이 샘플 효율성과 성능 면에서 어떻게 다른가?
• RQ3 변동하는 보상 구조, 예를 들어 재고나 상태에 따라 변화하는 선호도 함수를 처리할 수 있는가?
• RQ4 단일 세트의 사전 학습된 옵션으로 다양한 복잡한 작업을 동적 조합을 통해 얼마나 잘 지원할 수 있는가?
• RQ5 구조적 보상 변화가 있는 환경에서, Option Keyboard 프레임워크는 평탄한 RL 에이전트보다 더 빠른 수렴과 더 나은 점근적 성능을 달성할 수 있는가?

주요 결과

• Option Keyboard 프레임워크는 초기 옵션 학습 이후 추가 학습 없이도 cumulants의 선형 조합을 통해 새로운 옵션을 즉각 합성할 수 있다.
• 자원 관리 작업에서, 병합된 옵션을 사용한 플레이어(QP(3)-i)는 평탄한 Q-러닝 에이전트(QL)와 기본 옵션 에이전트(QO)보다 뛰어난 성능을 보였으며, 특히 동적 보상 변화 상황에서 두각을 나타냈다.
• 4족 보행 태스크에서 Option Keyboard는 기준 Q-러닝 에이전트보다 더 빠른 수렴과 더 나은 점근적 성능을 달성했으며, 보상 구조가 시간이 지남에 따라 변화하는 경우 특히 두드러졌다.
• 영양소에 대한 음수 보상 영역과 같은 복잡한 상황에서도 이 방법은 성공적으로 대처했으며, 기본 옵션은 비최적 행동으로 인해 실패했지만, 병합된 옵션은 복구 기능을 제공하고 성능을 향상시켰다.
• 음수 가중치 조합(예: w3 = (1, -1))을 추가함으로써, 선호도 함수가 변화하는 상황에서 성능 향상이 두드러지게 했으며, 이는 비정상적 행동 조합을 포괄할 수 있음을 보여주는 것.
• 다양한 조합을 고려한 QP(8) 에이전트는 모든 시나리오에서 모든 기준선을 일관되게 따라하거나 능가했으며, 알려지지 않은 동역학에 대한 강건성과 적응 능력을 입증했다.