[논문 리뷰] Multi-task Maximum Entropy Inverse Reinforcement Learning

Adam Gleave, Oliver Habryka|arXiv (Cornell University)|2018. 05. 22.

Reinforcement Learning in Robotics참고 문헌 20인용 수 15

한 줄 요약

이 논문은 다중 작업 IRL에서 샘플 효율성을 향상시키기 위해 작업 간 공유되는 보상 구조를 활용하는 정규화된 최대 인과 엔트로피 역강화 학습(MCE-IRL) 프레임워크를 제안한다. 단일 작업 MCE-IRL가 수백 개의 시연가 필요한 그리드월드 환경에서 일회성 시뮬레이션 학습을 달성하며, 함수 근사기의 메타학습 확장도 시도하여 다중 모드 전문가 정책에 대한 적대적 IRL의 한계를 드러낸다.

ABSTRACT

Multi-task Inverse Reinforcement Learning (IRL) is the problem of inferring multiple reward functions from expert demonstrations. Prior work, built on Bayesian IRL, is unable to scale to complex environments due to computational constraints. This paper contributes a formulation of multi-task IRL in the more computationally efficient Maximum Causal Entropy (MCE) IRL framework. Experiments show our approach can perform one-shot imitation learning in a gridworld environment that single-task IRL algorithms need hundreds of demonstrations to solve. We outline preliminary work using meta-learning to extend our method to the function approximator setting of modern MCE IRL algorithms. Evaluating on multi-task variants of common simulated robotics benchmarks, we discover serious limitations of these IRL algorithms, and conclude with suggestions for further work.

연구 동기 및 목표

• 유사한 작업들에서 여러 보상 함수를 추론하는 다중 작업 설정에서 단일 작업 역강화 학습(IRL)의 샘플 비효율성을 해결한다.
• 고차원의 연속 상태 공간에서 베이지안 IRL의 확장성 한계를 극복하기 위해 계산적으로 효율적인 최대 인과 엔트로피(MCE) IRL 프레임워크를 채택한다.
• 작업 간 구조적 유사성을 활용하여 다중 보상 함수를 동시에 추론하는 정규화된 MCE-IRL 설정을 통해 샘플 효율성을 향상시킨다.
• 메타학습을 활용하여 함수 근사기 설정으로 접근하여, 적은 수의 시범으로 새로운 작업에 일반화할 수 있도록 한다.
• 다중 작업 연속 제어 벤치마크에서 적대적 IRL의 성능을 조사하며, 다중 모드 전문가 정책과 관련된 근본적인 한계를 규명한다.

제안 방법

• 작업별 보상 함수 간 유사성을 장려하기 위해 손실 함수에 정규화 항을 추가하여, 최대 인과 엔트로피 IRL 프레임워크 내에서 다중 작업 IRL을 수립한다.
• 보상에 대해 선형 함수 근사를 사용한다: $ R(s,a) = \theta^T F(s,a) $, 여기서 $ \theta $는 보상 가중치 벡터이고 $ F(s,a) $는 상태-행동 특징이다.
• 기울기 기반 방법을 사용하여 정규화된 MCE-IRL 목적 함수를 최적화하여 전문가 시범과 일치하는 보상 함수를 추론하고, 작업 간 일반화를 촉진한다.
• 메타학습을 통해 적대적 IRL(AIRL)에 적용하여, 보상 네트워크(판별기)의 메타초기화를 학습함으로써 새로운 작업에서 소수의 시범으로 미세조정을 통해 효과적인 정책을 도출한다.
• Reptile 기반 메타학습을 사용하여 작업 간 보상 네트워크 파라미터를 업데이트함으로써, 최소한의 시범으로 새로운 환경에 빠르게 적응할 수 있도록 한다.
• 이를 이산 그리드월드와 연속 제어 벤치마크(예: MountainCarContinuous-v0)에서 평가하며, 고정 및 가변 목표 설정 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 정규화된 MCE-IRL는 단일 작업 MCE-IRL가 수백 개의 시범이 필요한 다중 작업 환경에서 일회성 시뮬레이션 학습을 달성할 수 있는가?
• RQ2 단일 작업 AIRL와 비교하여, 메타학습된 적대적 IRL은 다중 작업 연속 제어 환경에서 단일 모드와 다중 모드 전문가 정책을 가진 경우에 어떻게 성능을 내는가?
• RQ3 다중 작업 설정에서 적대적 IRL의 한계는 무엇이며, 특히 전문가 정책이 다중 모드일 경우에 어떻게 나타나는가?
• RQ4 메타학습은 함수 근사기 기반 IRL 프레임워크에서 새로운 작업으로의 일반화를 얼마나 향상시키는가?
• RQ5 적대적 IRL이 다중 모드 환경에서 실패하는 것은 GAN의 모드 붕괴와 유사한가? 최근의 GAN 훈련 기법은 IRL 훈련을 안정화시킬 수 있는가?

주요 결과

• 정규화된 MCE-IRL 방법은 $9 \times 9$ 그리드월드에서 일회성 시뮬레이션 학습을 달성하여, 단 한 번의 시범 이후 거의 최적의 정책을 복구한다. 반면 단일 작업 MCE-IRL는 수백 개의 시범이 필요하다.
• MountainCarContinuous-v0의 고정 테스트 케이스에서, 단일 작업 AIRL와 메타-AIRL 모두 거의 최적의 성능을 달성한다. 이는 최적의 정책이 단일 모드이므로 소수의 트랙젝터리로부터 쉽게 일반화되기 때문이다.
• 가변 테스트 케이스에서는 목표 플래그 위치가 랜덤화되고 전문가 정책이 이중 모드인 경우, 단일 작업 AIRL는 100개의 시범 이후에도 좋은 정책을 학습하지 못하며, 다중 모드 행동으로의 일반화가 열악함을 보여준다.
• 메타-AIRL 역시 가변 테스트 케이스에서 실패한다. 이는 기초가 되는 적대적 IRL 알고리즘이 다중 모드 전문가 정책을 다루는 데 어려움을 겪기 때문이다.
• 이 연구는 적대적 IRL이 다중 모드 환경에서 근본적인 한계를 지닌다는 점을 규명하며, 이는 GAN의 모드 붕괴와 유사할 가능성이 크며, 판별기가 여러 최적의 행동 모드를 포착하지 못하기 때문이다.
• 저자들은 현재의 적대적 IRL 방법이 다중 모드 전문가 정책을 가진 작업에는 부적합하다고 결론 내리며, 향후 연구에서는 GAN 훈련 기법(예: 언롤링 또는 변동형 학습)을 기반으로 한 개선된 훈련 동역학을 탐색해야 한다고 제안한다.