[논문 리뷰] Learning a Prior over Intent via Meta-Inverse Reinforcement Learning

Kelvin Xu, Ellis Ratner외 3명|arXiv (Cornell University)|2018. 05. 31.

Reinforcement Learning in Robotics참고 문헌 55인용 수 8

한 줄 요약

이 논문은 다양한 작업들로부터 보상 함수에 대한 사전 분포를 학습함으로써 소수의 샘플로도 효율적인 소수 샘플 보상 학습을 가능하게 하는 메타-역강화학습(Meta-IRL) 프레임워크를 제안한다. 소수의 시연 데이터에서 경사 하강법을 통한 초기 보상 함수 가중치의 메타 최적화를 통해 빠른 적응을 이끌어내어, 시각 기반 제어 작업에서 뛰어난 데이터 효율성과 일반화 성능을 달성한다. 표준 IRL 및 메타학습 기반 베이스라인보다 뛰어나며, 특히 시연 데이터가 제한적인 경우 두각을 나타낸다.

ABSTRACT

A significant challenge for the practical application of reinforcement learning in the real world is the need to specify an oracle reward function that correctly defines a task. Inverse reinforcement learning (IRL) seeks to avoid this challenge by instead inferring a reward function from expert behavior. While appealing, it can be impractically expensive to collect datasets of demonstrations that cover the variation common in the real world (e.g. opening any type of door). Thus in practice, IRL must commonly be performed with only a limited set of demonstrations where it can be exceedingly difficult to unambiguously recover a reward function. In this work, we exploit the insight that demonstrations from other tasks can be used to constrain the set of possible reward functions by learning a "prior" that is specifically optimized for the ability to infer expressive reward functions from limited numbers of demonstrations. We demonstrate that our method can efficiently recover rewards from images for novel tasks and provide intuition as to how our approach is analogous to learning a prior.

연구 동기 및 목표

• 실세계 강화학습에서 전문가 시범이 부족하고 보상 함수를 수작업으로 조정하기 어려운 상황에서 보상 함수를 정의하는 데 도전한다.
• 관련된 작업들로부터 공유되는 보상 함수에 대한 사전 분포를 학습하여 소수 샘플 역강화학습을 향상시킨다.
• 특히 고차원 관측값(예: 이미지)에서 소수의 시범 데이터로만도 새로운 작업에 효과적으로 일반화할 수 있도록 한다.
• 이전 작업들로부터 메타학습된 인도크티브 비이즈를 활용해, 훈련 데이터가 제한된 경우 IRL에서 과적합을 줄인다.
• 메타학습된 보상 함수 초기화가 무작위 또는 지도학습 기반 미세조정보다 더 빠르고 정확한 적응을 가능하게 함을 입증한다.

제안 방법

• 다양한 작업들과 전문가 시범 데이터를 기반으로 메타 훈련 단계를 거쳐 보상 함수 매개변수화의 초기화를 학습한다.
• 깊이 신경망을 사용한 함수 근사 기법을 적용한 최대 엔트로피 IRL 프레임워크(MaxEnt-IRL)를 활용해 시범 데이터로부터 보상 함수를 추론한다.
• 메타 최적화 목표는 다양한 작업들에 걸쳐 진짜 보상 함수와 학습된 보상 함수 하에서의 최적 정책 간의 기대값 차이를 최소화하는 것이다.
• 메타 테스트 시점에, 사전 훈련된 보상 함수를 새로운 작업에 대해 소수의 경사 하강 스텝으로 미세조정한다.
• 표준 사전 훈련된 표현의 미세조정에서 발생할 수 있는 악영향을 피하기 위해, 빠른 적응을 가능하게 하는 초기 가중치를 명시적으로 최적화한다.
• 이 방법은 두 가지 도메인에서 평가되었으며, 2D 탐색 환경(SpriteWorld)과 3D 실내 탐색 환경(SUNCG)에서 1인칭 시각 이미지를 사용한다.

실험 결과

연구 질문

• RQ1 메타학습된 보상 함수에 대한 사전 분포는 시각 기반 제어 작업에서 소수 샘플 역강화학습을 향상시킬 수 있는가?
• RQ2 낮은 데이터 환경에서 IRL에 대해 메타 최적화된 초기화는 랜덤 또는 지도학습 기반 미세조정보다 어떻게 비교되는가?
• RQ3 단일 메타학습된 보상 함수는 얼마나 넓은 범위의 새로운 작업과 환경으로 일반화될 수 있는가?
• RQ4 소수의 시범 데이터만 존재할 경우, 이 방법은 표준 IRL 및 다른 메타학습 기반 베이스라인을 초월하는가?
• RQ5 도메인 이동이나 데이터 부족으로 인해 사전 훈련이 실패할 경우에도 이 방법은 양의 전이를 달성할 수 있는가?

주요 결과

• SpriteWorld 환경에서 MandRIL(Meta-IRL)은 1~5개의 시범 데이터로도 기존 베이스라인보다 유의미하게 낮은 값 차이를 기록했으며, 더 많은 데이터로 훈련한 경우조차도 성능이 뛰어났다.
• SUNCG 환경에서 MandRIL는 5개의 시범 데이터로도 보류된 작업에서 82.6%의 성공률을 기록했으며, 훈련에서부터 시작한 경우는 76.5%, 최고의 메타학습 기반 베이스라인은 73.3%였다.
• MandRIL는 분포 외의 스프라이트와 새로운 주거 레이아웃으로도 효과적으로 일반화되었으며, 최소한의 미세조정으로도 강건한 적응 능력을 보였다.
• 평균 기울기 업데이트를 사용한 지도학습 기반 사전 훈련 베이스라인은 악영향을 초래하고 일반화 성능이 열악했으며, 이에 비해 MandRIL는 성능이 뛰어났다.
• 단 1개의 시범 데이터로도 PICK 작업에서 52.3%의 성공률과 NAV 작업에서 90.7%의 성공률을 기록했으며, 다른 방법들보다 뚜렷하게 높았다.
• 제거 실험 결과, 메타 훈련에서 유도된 사전 적응(초기 가중치)이 핵심임을 입증했으며, 이를 생략할 경우 평균 성능은 20.7%로 급격히 하락했다.