[논문 리뷰] Data-efficient Hindsight Off-policy Option Learning

Markus Wulfmeier, Dushyant Rao외 9명|arXiv (Cornell University)|2021. 05. 04.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 휘향적 비정책 옵션(HO2)을 제안한다. HO2는 비정책 업데이트를 통해 행동 정책에서 정책 최적화를 분리하고, 미분 가능한 동적 프rogram밍 추론을 통해 데이터 효율적인 훈련을 가능하게 하는 비정책 옵션 학습 알고리즘이다. HO2는 비정책 학습이 데이터 효율성을 크게 향상시킴을 입증하며, 평탄한 정책을 사용하더라도 온정책 옵션 방법을 능가하고, 원시 픽셀에서 복잡한 로봇 조작 작업에 대해 동작 추상화와 시간 추상화가 모두 필수적임을 보여준다.

ABSTRACT

Hierarchical approaches for reinforcement learning aim to improve data efficiency and accelerate learning by incorporating different abstractions. We introduce Hindsight Off-policy Options (HO2), an efficient off-policy option learning algorithm, and isolate the impact of action and temporal abstraction in the option framework by comparing flat policies, mixture policies without temporal abstraction, and finally option policies; all with comparable policy optimization. When aiming for data efficiency, we demonstrate the importance of off-policy optimization, as even flat policies trained off-policy can outperform on-policy option methods. In addition, off-policy training and backpropagation through a dynamic programming inference procedure -- through time and through the policy components for every time-step -- enable us to train all components' parameters independently of the data-generating behavior policy. We continue to illustrate challenges in off-policy option learning and the related importance of trust-region constraints. Experimentally, we demonstrate that HO2 outperforms existing option learning methods and that both action and temporal abstraction provide strong benefits in particular in more demanding simulated robot manipulation tasks from raw pixel inputs. Finally, we develop an intuitive extension to encourage temporal abstraction and investigate differences in its impact between learning from scratch and using pre-trained options.

연구 동기 및 목표

• 비정책 학습과 옵션 프레임워크를 통합하여 계층 강화 학습에서 데이터 효율성을 향상시키기.
• 동작 추상화와 시간 추상화가 옵션 학습에 기여하는 바를 분리하고 정량화하기.
• 특히 분포 이탈로 인한 불안정성으로 인해 발생하는 비정책 옵션 학습의 과제 해결하기.
• 시간에 따라 역전파 및 정책 구성 요소를 통해 백프로파게이션을 가능하게 하여 옵션 구성 요소를 종량적으로 독립적으로 훈련할 수 있는 방법 개발하기.
• 사전 훈련된 옵션과 시간 추상화가 사전 훈련 및 미세조정 시 학습 효율성에 미치는 영향을 조사하기.

제안 방법

• 비정책 업데이트를 사용하여 행동 정책에서 정책 최적화를 분리하는 비정책 알고리즘인 Hindsight Off-policy Options(HO2)를 도입한다.
• 각 시간 단계에서 시간에 따라 역전파하고 정책 구성 요소 간에 역전파할 수 있도록 미분 가능한 동적 프로그래밍 추론을 적용한다.
• 온정책 롤아웃이 필요 없이 모든 옵션 파rameter—정책, 종료 조건, 가치 함수—를 독립적으로 훈련할 수 있다.
• 훈련 안정성을 향상시키고 비정책 옵션 학습에서 발생하는 분포 이탈을 완화하기 위해 신뢰 영역 제약 조건을 적용한다.
• 훈련 중 시간 추상화를 장려하기 위해 커리큘럼 스타일 메커니즘을 프레임워크에 확장한다.
• 모의 로봇 조작 작업에서 원시 픽셀 관측을 사용하여 현실적인 고차원 입력 조건에서 성능 평가를 수행한다.

실험 결과

연구 질문

• RQ1 비정책 학습은 온정책 방법과 비교해 옵션 학습에서 데이터 효율성에 어떤 영향을 미치는가?
• RQ2 동작 추상화와 시간 추상화가 복잡한 제어 작업에서 성능에 독립적으로 기여하는 정도는 어느 정도인가?
• RQ3 동적 프로그래밍 추론을 통한 역전파를 통한 비정책 훈련이 옵션 구성 요소의 안정적이고 효율적인 훈련을 가능하게 하는가?
• RQ4 신뢰 영역 제약 조건은 비정책 옵션 학습의 안정성과 성능에 어떤 영향을 미치는가?
• RQ5 사전 훈련된 옵션을 활용하고 시간 추상화를 장려함으로써 수렴 속도 향상과 더 나은 데이터 효율성이 달성되는가?

주요 결과

• 비정책 훈련은 데이터 효율성에 크게 기여하며, 비정책으로 훈련된 평탄한 정책이 온정책 옵션 방법을 능가한다.
• 원시 픽셀 입력에서 복잡한 모의 로봇 조작 작업에서 동작 추상화와 시간 추상화가 모두 상당한 이점을 제공한다.
• HO2는 복잡한 제어 벤치마크에서 샘플 효율성과 최종 성능 측면에서 기존의 옵션 학습 방법을 능가한다.
• 신뢰 영역 제약 조건은 비정책 옵션 학습의 안정성을 확보하고 치명적인 정책 업데이트를 방지하는 데 핵심적이다.
• 제안된 방법은 시간에 따라 역전파 및 정책 구성 요소를 통해 옵션 구성 요소의 엔드 투 엔드 훈련을 가능하게 하여 독립 최적화를 허용한다.
• 커리큘럼 학습을 통해 시간 추상화를 장려함으로써 수렴 속도 향상과 성능 향상이 이루어지며, 특히 사전 훈련된 옵션이 사용될 경우 더욱 두드러진다.