[논문 리뷰] A Divergence Minimization Perspective on Imitation Learning Methods

Seyed Kamyar Seyed Ghasemipour, Richard S. Zemel외 1명|arXiv (Cornell University)|2019. 11. 06.

Reinforcement Learning in Robotics참고 문헌 32인용 수 24

한 줄 요약

이 논문은 f-MAX를 소개하며, 이는 적대적 역강화학습(Adversarial Inverse Reinforcement Learning, AIRL)을 일반화한 통합된 f-발산 프레임워크이다. 이 프레임워크는 상태-마진 매칭이 행동 모방(Behavioral Cloning, BC)보다 저데이터 환경에서 성능이 뛰어난 이유를 드러낸다. 이 방법은 전문가의 지침이나 보상 함수 없이도 수동으로 지정한 상태 분포를 기반으로 다양한 정책을 학습시킬 수 있으며, 연속 제어 환경에서 검증되었다.

ABSTRACT

In many settings, it is desirable to learn decision-making and control policies through learning or bootstrapping from expert demonstrations. The most common approaches under this Imitation Learning (IL) framework are Behavioural Cloning (BC), and Inverse Reinforcement Learning (IRL). Recent methods for IRL have demonstrated the capacity to learn effective policies with access to a very limited set of demonstrations, a scenario in which BC methods often fail. Unfortunately, due to multiple factors of variation, directly comparing these methods does not provide adequate intuition for understanding this difference in performance. In this work, we present a unified probabilistic perspective on IL algorithms based on divergence minimization. We present $f$-MAX, an $f$-divergence generalization of AIRL [Fu et al., 2018], a state-of-the-art IRL method. $f$-MAX enables us to relate prior IRL methods such as GAIL [Ho & Ermon, 2016] and AIRL [Fu et al., 2018], and understand their algorithmic properties. Through the lens of divergence minimization we tease apart the differences between BC and successful IRL approaches, and empirically evaluate these nuances on simulated high-dimensional continuous control domains. Our findings conclusively identify that IRL's state-marginal matching objective contributes most to its superior performance. Lastly, we apply our new understanding of IL methods to the problem of state-marginal matching, where we demonstrate that in simulated arm pushing environments we can teach agents a diverse range of behaviours using simply hand-specified state distributions and no reward functions or expert demonstrations. For datasets and reproducing results please refer to https://github.com/KamyarGh/rl_swiss/blob/master/reproducing/fmax_paper.md .

연구 동기 및 목표

• 적대적 행동 모방 학습(IL) 방법이 최적 상태에서 전문가 정책을 복구할 수 있음에도 불구하고, 저데이터 환경에서 행동 모방(BC)보다 성능이 뛰어나는 이유를 이해하기 위해.
• 기존의 IL 방법—특히 GAIL 및 AIRL와 같은 최대 엔트로피 IRL 방법—을 f-발산 최소화 기반의 통합 확률 프레임워크로 통합하기 위해.
• 고차원 연속 제어 작업에서 IRL이 BC보다 뛰어난 성능을 내는 데 기여하는 핵심 요소를 분리하고 경험적으로 검증하기 위해.
• 새로운 발산 최소화 관점의 적용을 통해 상태-마진 매칭을 실현하고, 전문가 지침이나 보상 함수 없이도 다양한 행동을 학습시킬 수 있도록 하기 위해.

제안 방법

• f-MAX를 제안하며, 이는 AIRL의 일반화로, 최대 엔트로피 IRL을 전문가와 정책의 궤적 분포 간 f-발산 최소화로 재정의한다.
• f-MAX의 반대 KL 변종을 유도하고, AIRL의 한 줄 수정으로서 전방 KL 발산을 최소화하는 FAIRL을 도입한다.
• f-발산 프레임워크를 활용해 BC, GAIL, AIRL, FAIRL를 각각 다른 발산 최소화 목표로 해석하고 비교한다.
• f-MAX의 반대 KL 변종을 상태-마진 매칭에 적용하여, 오직 상태 샘플만을 사용해 수동으로 지정한 목표 상태 분포를 정책이 매칭하도록 학습시킨다.
• f-발산 최소화 기반의 미분 가능한 정책 학습 목표를 활용해, 보상 함수 없이도 종단 간 학습이 가능하도록 한다.
• Point-Mass, Pusher, Fetch 로봇과 같은 시뮬레이션 환경에서 방법을 검증하며, 지도 신호로는 목표 상태 분포만을 사용한다.

실험 결과

연구 질문

• RQ1 적대적 IRL 방법인 GAIL과 AIRL이 최적 상태에서 전문가 정책을 복구할 수 있음에도 불구하고, 저데이터 환경에서 BC보다 성능이 뛰어나는 이유는 무엇인가?
• RQ2 IRL의 목적함수에서 성능 향상을 이끄는 특정 구성요소—특징 기대치 매칭인지 상태-마진 매칭인지—는 무엇인가?
• RQ3 통합된 발산 최소화 프레임워크가 기존의 행동 모방 알고리즘, 즉 BC와 최대 엔트로피 IRL 방법을 설명하고 일반화할 수 있는가?
• RQ4 전문가 지침이나 보상 함수 없이도 상태-마진 매칭이 얼마나 정책 학습을 이끄는 데 효과적인가?
• RQ5 f-MAX를 사용해 목표 상태 분포만 지정함으로써 다양한 복잡한 행동(예: 그림 그리기, 탐색)을 학습시킬 수 있는가?

주요 결과

• IRL이 저데이터 환경에서 BC를 능가하는 데 기여하는 핵심 요소는 특징 기대치 매칭이나 보상 형상화가 아니라 상태-마진 매칭이다.
• f-MAX는 AIRL를 성공적으로 일반화하며, 최대 엔트로피 IRL을 f-발산 최소화로 통합된 확률적 해석으로 제공한다.
• FAIRL, 즉 AIRL의 전방 KL 변종은 전방 KL을 최소화함으로써 일부 설정에서 역KL보다 더 나은 정책 최적화를 이룬다.
• Pusher 환경에서 f-MAX는 전문가 지침이나 보상 없이도 목표 상태 분포만을 사용해 3차원 공간에서 정현파 경로를 그리는 정책을 학습시켰다.
• Fetch 로봇 환경에서 f-MAX는 목표 영역 내에서 블록을 유지하도록 하는 다양한 탐색 정책을 학습시켰으며, 이는 영역 내 균일한 상태 분포를 매칭함으로써 이루어졌다.
• Point-Mass 도메인에서 f-MAX는 복잡한 다중 모달 상태 분포를 성공적으로 매칭하며, 분포 복잡성에 대한 강건성을 입증했다.