[논문 리뷰] VILD: Variational Imitation Learning with Diverse-quality Demonstrations

Voot Tangkaratt, Bo Han외 2명|arXiv (Cornell University)|2019. 09. 15.

Reinforcement Learning in Robotics참고 문헌 49인용 수 4

한 줄 요약

VILD는 확률적 그래픽 모델을 사용하여 시연자 전문 수준을 모델링하는 변분 일관성 학습 방법을 제안한다. 이는 전문가 수준에 대한 사전 지식 없이 다양한 품질의 시범 데이터로부터 강인한 정책 학습을 가능하게 한다. 변분 추론과 중요도 샘플링을 조합함으로써 VILD는 연속 제어 벤치마크에서 최신 기술 수준의 성능을 달성하며, 실제 IL 환경에서의 확장성과 데이터 효율성을 입증한다.

ABSTRACT

The goal of imitation learning (IL) is to learn a good policy from high-quality demonstrations. However, the quality of demonstrations in reality can be diverse, since it is easier and cheaper to collect demonstrations from a mix of experts and amateurs. IL in such situations can be challenging, especially when the level of demonstrators' expertise is unknown. We propose a new IL method called \underline{v}ariational \underline{i}mitation \underline{l}earning with \underline{d}iverse-quality demonstrations (VILD), where we explicitly model the level of demonstrators' expertise with a probabilistic graphical model and estimate it along with a reward function. We show that a naive approach to estimation is not suitable to large state and action spaces, and fix its issues by using a variational approach which can be easily implemented using existing reinforcement learning methods. Experiments on continuous-control benchmarks demonstrate that VILD outperforms state-of-the-art methods. Our work enables scalable and data-efficient IL under more realistic settings than before.

연구 동기 및 목표

• 시범 데이터의 품질이 다양하고 전문가 수준이 알려져 있지 않은 상황에서 일관성 학습의 과제를 해결하기 위해.
• 낮은 품질과 높은 품질의 시범 데이터로부터 전문가 수준과 보상 함수를 동시에 추정할 수 있는 확장 가능한 방법을 개발하기 위해.
• 확률적 프레임워크에서 전문가 수준을 잠재 변수로 모델링하여 데이터 효율성과 강인성을 향상시키기 위해.
• 고품질 전문가 시범 데이터가 부족하거나 가용하지 않은 실세계 상황에서 IL의 실용적 구현을 가능하게 하기 위해.

제안 방법

• VILD는 확률적 그래픽 모델을 사용하여 시범자 전문 수준을 잠재 변수로 모델링함으로써 전문가 수준과 보상 함수를 동시에 추정할 수 있도록 한다.
• 정확한 전후분포 계산이 어려운 문제를 해결하기 위해 변분 추론 기법을 활용하여 전문가 수준과 정책에 대한 근사 후행분포를 도출함으로써, 고차원 상태 및 행동 공간에 대한 확장성을 확보한다.
• 시범 데이터와 추정된 전문가 수준의 동시 가능도를 최적화하기 위해 변분 하한(ELBO)을 사용한다.
• 추정된 전문가 수준에 기반해 궤적을 재가중하는 중요도 샘플링 기법을 적용하여 정책 학습 중 데이터 효율성을 향상시킨다.
• 표준 강화학습 알고리즘을 사용하여 프레임워크를 구현함으로써 딥 RL 방법과의 통합이 가능하다.
• 보상 함수는 정책과 전문가 수준 추정과 함께 엔드 투 엔드로 동시에 학습되며, 이로써 혼합된 품질의 데이터로부터 학습 가능하다.

실험 결과

연구 질문

• RQ1 정확한 레이블이나 추가 전문가 신호가 제공되지 않을 경우, 확률적 모델이 잠재 전문가 수준을 효과적으로 추정할 수 있는가?
• RQ2 변분 추론을 어떻게 활용하여 다양한 품질의 시범 데이터를 가진 고차원 연속 제어 과제에 대해 일관성 학습을 확장할 수 있는가?
• RQ3 추정된 전문가 수준에 기반한 중요도 샘플링이 일관성 학습에서 데이터 효율성을 얼마나 향상시키는가?
• RQ4 혼합된 품질의 시범 데이터로 훈련되었을 때, VILD는 최신 기술 수준의 방법과 비교해 성능 및 강인성 면에서 어떻게 다른가?
• RQ5 보상 함수와 전문가 수준 추정을 동시에 학습하는 것이, 고정된 전문가 수준을 가정하는 방법보다 더 나은 정책 성능을 이끌어낼 수 있는가?

주요 결과

• VILD는 시범 데이터에 낮은 품질의 궤적이 상당히 포함되어 있어도 연속 제어 벤치마크에서 최신 기술 수준의 일관성 학습 방법을 초월한다.
• 학습된 전문가 수준 추정을 통해 낮은 품질의 시범 데이터를 효과적으로 식별하고 가중치를 낮춤으로써 뛰어난 성능을 달성한다.
• 노이즈가 많고 다양성이 있는 시범 데이터에 대해 강인성을 보이며, 전문가 시범 데이터가 부족한 상황에서도 높은 정책 성능을 유지한다.
• 변분 추론의 통합으로 고차원 상태 및 행동 공간에서의 확장 가능한 학습이 가능해졌으며, 정확한 추론의 한계를 극복했다.
• 추정된 전문가 수준에 기반한 중요도 샘플링은 데이터 효율성을 크게 향상시켜 고품질 시범 데이터에 대한 의존도를 감소시켰다.
• 실험 결과는 보상 함수와 전문가 수준을 함께 학습하는 것이 전문가 수준을 사전에 알고 있거나 고정된 것으로 가정하는 방법보다 더 나은 정책 최적화를 이끌어낸다는 것을 확인한다.