[논문 리뷰] Imitation Learning as $f$-Divergence Minimization

Liyiming Ke, Sanjiban Choudhury외 4명|arXiv (Cornell University)|2019. 05. 30.

Anomaly Detection Techniques and Applications인용 수 39

한 줄 요약

이 논문은 학습자 추적 분포와 전문가 추적 분포 간의 f-다이버전스 최소화로 imitation learning을 통일하고, 역 KL은 다모달 시나리오에서 모드-추구(mode-seeking)이며 특정 작업에서 모드-포용 KL/JS보다 우수할 수 있음을 보이고; BC, GAIL, DAgger를 특수한 경우로 복원한다.

ABSTRACT

We address the problem of imitation learning with multi-modal demonstrations. Instead of attempting to learn all modes, we argue that in many tasks it is sufficient to imitate any one of them. We show that the state-of-the-art methods such as GAIL and behavior cloning, due to their choice of loss function, often incorrectly interpolate between such modes. Our key insight is to minimize the right divergence between the learner and the expert state-action distributions, namely the reverse KL divergence or I-projection. We propose a general imitation learning framework for estimating and minimizing any f-Divergence. By plugging in different divergences, we are able to recover existing algorithms such as Behavior Cloning (Kullback-Leibler), GAIL (Jensen Shannon) and Dagger (Total Variation). Empirical results show that our approximate I-projection technique is able to imitate multi-modal behaviors more reliably than GAIL and behavior cloning.

연구 동기 및 목표

• 다중 모드 시연에서 단일 모드를 선호하지 않는 경우에서의 imitation learning 동기 부여.
• 기존 방법을 포섭하는 IL의 통합적 f-다이버전스 최소화 프레임워크 제안.
• trajectory- 또는 state-action 수준 분포를 사용하여 학습자 분포와 전문가 분포 간의 f-다이버전스를 최소화하는 추정기 개발.
• 역 KL(모드-추구)을 활용한 다모달 시연의 안전한 처리를 위한 이점 강조.

제안 방법

• IL을 학습자와 전문가의 궤적 분포 간의 D_f 최소화로 형식화합니다.
• 궤적 간 다이버전스(D_f)를 평균 상태-행동 분포를 최소화하는 것이 궤적 발산의 하한을 준다는 것(정리 3.1)을 보입니다.
• 판별자처럼 보이는 함수(phi)와 볼록 쌍대(f*)를 사용하여 D_f를 추정하기 위한 변분 하한을 도입합니다.
• 선택된 f-다이버전스에 대해 학습자(정책)와 판별자 간의 착-우위 문제를 최적화하는 알고리즘 f–VIM을 제시합니다.
• KL-VIM, RKL-VIM, JS-VIM이 BC, GAIL, 관련 방법과 특수한 경우로 대응함을 보입니다.

실험 결과

연구 질문

• RQ1 궤적 분포 간 f-다이버전스를 최소화하는 것이 다모달 전문가 시연에서 강건한 imitation learning을 yield합니까?
• RQ2 다양한 f-다이버전스(KL, JS, TV, 역 KL)가 IL의 모드-포용 대 모드-수렴 행동에 어떤 영향을 줍니까?
• RQ3 통합 변분 프레임워크가 기존 IL 방법(BC, GAIL, DAgger)을 회복하고 다모달 데이터에 대한 실용적 이점을 제공합니까?
• RQ4 실제/연속 도메인에서 IL에 역 KL을 사용할 때의 실용적 추정/평가 고려사항은 무엇입니까?

주요 결과

• 역 KL(I-프로젝션)은 모드-추구이며 시연자 모드의 하위집합으로 수렴하는 경향이 있어 다모달 작업에서 안전성 및 신뢰성이 향상될 수 있습니다.
• KL과 JS는 모드-포용적이며 모드 간 보간할 수 있어 일부 설정에서 안전하지 않거나 바람직하지 않은 행동으로 이어질 수 있습니다.
• f–VIM 프레임워크는 서로 다른 f-다이버전스를 통해 Behavior Cloning(KL), GAIL(JS), DAgger(TV)을 특수한 경우로 포섭합니다.
• 고차원 연속 작업에서 RKL–VIM은 일부 환경(MuJoCo)에서 JS–VIM/GAIL에 비해 더 높은 비수익적 보상을 달성할 수 있으며, 판별자 강조의 차이가 관찰됩니다.