[논문 리뷰] A Model-based Approach for Sample-efficient Multi-task Reinforcement Learning

Nicholas C. Landolfi, Garrett Thomas외 1명|arXiv (Cornell University)|2019. 07. 11.

Reinforcement Learning in Robotics참고 문헌 36인용 수 7

한 줄 요약

이 논문은 훈련 중에 공유 동역학 모델을 학습하고 이를 통해 새로운 작업에 대해 샘플 효율적이고 제로샷 적응을 가능하게 하는 모델 기반 다중 작업 강화 학습 알고리즘을 제안한다. 학습된 모델에서 정책을 사전 훈련한 후 최소한의 실제 환경 샘플을 사용해 미세조정하는 방식으로, MAML가 요구하는 환경 상호작용의 1퍼센트 미만인 샘플을 사용하면서도 다양한 연속 제어 벤치마크에서 뛰어난 샘플 효율성을 확보한다.

ABSTRACT

The aim of multi-task reinforcement learning is two-fold: (1) efficiently learn by training against multiple tasks and (2) quickly adapt, using limited samples, to a variety of new tasks. In this work, the tasks correspond to reward functions for environments with the same (or similar) dynamical models. We propose to learn a dynamical model during the training process and use this model to perform sample-efficient adaptation to new tasks at test time. We use significantly fewer samples by performing policy optimization only in a "virtual" environment whose transitions are given by our learned dynamical model. Our algorithm sequentially trains against several tasks. Upon encountering a new task, we first warm-up a policy on our learned dynamical model, which requires no new samples from the environment. We then adapt the dynamical model with samples from this policy in the real environment. We evaluate our approach on several continuous control benchmarks and demonstrate its efficacy over MAML, a state-of-the-art meta-learning algorithm, on these tasks.

연구 동기 및 목표

• 다양한 작업 간 공유되는 동역학 모델을 활용하여 다중 작업 강화 학습의 샘플 효율성을 향상시키기 위해.
• 실제 환경 상호작용 없이도 새로운 작업에 대해 제로샷 적응을 가능하게 하기 위해, 학습된 가상 환경에서 정책을 훈련함으로써.
• 적응 단계에서 실제 환경 샘플에 대한 의존도를 줄여, MAML와 같은 정책 전이 방법의 핵심 한계를 극복하기 위해.
• 보상 함수나 동역학 모델의 변화와 같은 분포 이탈에 대한 강건성을 평가하기 위해.
• 훈련 중에 정보가 많은 작업을 우선순위로 정하기 위한 능동적 작업 선택 전략을 탐색하기 위해.

제안 방법

• 알고리즘은 순차적 훈련 단계 동안 여러 작업 간의 상호작용에서 공유 동역학 모델을 학습한다.
• 새로운 작업을 만날 경우, 먼저 학습된 시뮬레이션 환경(가상 환경)에서 정책 최적화를 수행하여 온전한 정책를 생성한다.
• 이러한 사전 훈련 단계는 실제 환경 샘플이 필요 없어 제로샷 적응을 가능하게 한다.
• 그 후, 온전한 정책에서 유래한 최소한의 실제 환경 샘플을 수집하여 동역학 모델과 정책을 미세조정한다.
• 훈련 단계 동안 동역학 모델을 훈련하고 개선하기 위해 최신 기술의 모델 기반 RL 알고리즘인 SLBO를 사용한다.
• 가장 정보가 많은 작업을 우선순위로 정하기 위해, 가상 환경과 실제 환경에서의 정책 성능 차이를 기반으로 작업 난이도를 추정함으로써 능동적 작업 선택을 탐색한다.

실험 결과

연구 질문

• RQ1 공유된 학습된 동역학 모델이 다양한 작업 간에 최소한의 실제 환경 상호작용으로 효과적인 제로샷 정책 적응을 가능하게 할 수 있는가?
• RQ2 연속 제어 벤치마크에서 샘플 효율성 측면에서 제안된 모델 기반 방법이 MAML에 비해 얼마나 우수한가?
• RQ3 학습된 동역학 모델이 보상 함수의 이동이나 동역학의 변경이 있는 외부 분포 작업에 얼마나 일반화되는가?
• RQ4 제한된 샘플 예산 하에서 훈련 중 능동적 작업 선택이 적응 성능 향상에 기여하는가?
• RQ5 학습된 모델에서의 사전 훈련 단계가 직접적인 실제 세계 미세조정에 비해 최종 정책 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 훈련 중에 MAML보다 1퍼센트 미만인 샘플(0.4백만 대비 8000만 개 샘플)을 사용하면서도 테스트 작업에서 훨씬 뛰어난 성능을 달성한다.
• 하프체티 및 앤티 속도 작업에서, 모델 기반 접근법은 특히 제로샷 적응 시나리오에서 MAML를 능가한다.
• 보상 분포가 변화하더라도(예: 양의 속도에서 음의 속도로 전환) 강력한 성능 유지를 보이며, 보상 변화에 대한 강건성을 입증한다.
• 진짜 동역학 모델이 변화할 경우(예: 마찰 감소 또는 다리 비활성화) 성능 저하가 발생하여 큰 동역학 변화에 대한 한계를 보여준다.
• 20개 작업에서 능동적 작업 선택은 약간의 성과 향상을 보였지만, 30개 작업에선 수익 감소 추세를 보여, 현재 벤치마크에서는 능동적 샘플링 없이도 이미 효과적인 것으로 나타났다.
• 학습된 모델에서의 사전 훈련 단계는 필수적이다: 이는 빠르고 샘플 효율적인 적응을 가능하게 하며, 대부분의 계산이 실제 상호작용이 아닌 가상 환경에서 이루어진다.