[논문 리뷰] Energy-Based Imitation Learning

Minghuan Liu, Tairan He외 2명|arXiv (Cornell University)|2020. 04. 20.

Reinforcement Learning in Robotics참고 문헌 51인용 수 12

한 줄 요약

이 논문은 점수 매칭을 통해 전문가의 에너지 함수를 추정하고, 이를 정책 학습을 위한 대체 보상으로 사용함으로써 반복적인 보상-정책 최적화를 피하는 이중 단계 프레임워크인 에너지 기반 이mitation 학습(EBIL)을 제안한다. EBIL는 적대적 IRL 방법과 유사한 성능을 달성하면서도 훈련 안정성 향상과 해석 가능한 보상 신호를 제공한다.

ABSTRACT

We tackle a common scenario in imitation learning (IL), where agents try to recover the optimal policy from expert demonstrations without further access to the expert or environment reward signals. Except the simple Behavior Cloning (BC) that adopts supervised learning followed by the problem of compounding error, previous solutions like inverse reinforcement learning (IRL) and recent generative adversarial methods involve a bi-level or alternating optimization for updating the reward function and the policy, suffering from high computational cost and training instability. Inspired by recent progress in energy-based model (EBM), in this paper, we propose a simplified IL framework named Energy-Based Imitation Learning (EBIL). Instead of updating the reward and policy iteratively, EBIL breaks out of the traditional IRL paradigm by a simple and flexible two-stage solution: first estimating the expert energy as the surrogate reward function through score matching, then utilizing such a reward for learning the policy by reinforcement learning algorithms. EBIL combines the idea of both EBM and occupancy measure matching, and via theoretic analysis we reveal that EBIL and Max-Entropy IRL (MaxEnt IRL) approaches are two sides of the same coin, and thus EBIL could be an alternative of adversarial IRL methods. Extensive experiments on qualitative and quantitative evaluations indicate that EBIL is able to recover meaningful and interpretative reward signals while achieving effective and comparable performance against existing algorithms on IL benchmarks.

연구 동기 및 목표

• 기존의 역강화학습(IRL) 및 GAN 기반 이mitation 학습 방법의 높은 계산 비용과 훈련 불안정성 문제를 해결하기 위해.
• 보상 추정과 정책 학습을 분리함으로써 이중 최적화 IRL 및 적대적 이mitation 학습의 단순화된 비반복적 대안을 개발하기 위해.
• 특히 상태 전용 이mitation 학습 환경에서도 전문가의 행동 데이터로부터 의미 있는 해석 가능한 보상 신호를 복원할 수 있도록 하기 위해.
• 에너지 기반 모델링이 적대적 IRL 프레임워크에 비해 원리적으로 타당하고 효과적인 대안이 될 수 있음을 보여주기 위해.

제안 방법

• 정규화되지 않은 밀도를 모델링하기 위해 딥 에너지 추정기 네트워크(DEEN)를 사용하여, 확률 밀도의 직접 계산 없이 전문가의 점유 측도를 에너지 기반 모델(EBM)을 통해 추정한다.
• 학습된 에너지 함수로부터 보조 보상 함수를 구성하고, 이를 표준 강화학습 기반 정책 최적화에 활용한다.
• 연속 제어 작업에서 전문가의 경로 밀도를 모델링하기 위해 딥 에너지 추정기 네트워크(DEEN)를 활용한다.
• 이중 단계 훈련 프로세스를 적용한다: 먼저 전문가의 시연 데이터로 에너지 모델을 훈련하고, 그 다음에 추정된 보상으로 정책을 미세조정한다.
• 샘플 효율성 향상과 희소 보상 문제 방지를 위해 에너지 함수에 단조성 변형(예: 시그모이드)을 적용한다.
• 히우리스틱 샘플을 사용하여 목표 상태의 주변 분포를 매칭함으로써 상태 전용 이mitation 학습에의 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 고정된 비반복적 보상이 전문가의 에너지 추정에서 유도된 것으로, 반복적인 IRL 및 GAN 기반 방법보다 이mitation 학습에서 더 우수한 성능을 낼 수 있는가?
• RQ2 제안된 에너지 기반 보상 추정 방식은 이론적으로 최대 엔트로피 IRL과 어떤 관계가 있는가?
• RQ3 부적절하거나 희소한 데이터 조건에서도 EBIL이 전문가의 시연 데이터로부터 의미 있고 해석 가능한 보상 신호를 복원할 수 있는가?
• RQ4 반으로 훈련된 에너지 모델을 사용하면 희소 보상 문제를 완화함으로써 정책 학습 성능을 향상시킬 수 있는가?
• RQ5 히우리스틱 상태 분포 매칭을 통해 EBIL를 상태 전용 이mitation 학습으로 확장할 수 있는가?

주요 결과

• Hopper 및 Walker2와 같은 연속 제어 벤치마크에서 EBIL는 최첨단 적대적 IRL 방법과 유사한 성능을 달성하면서도 훈련 안정성이 향상됨을 입증하였다.
• 시각화된 1차원 및 2차원 환경에서 추정된 에너지 함수는 전문가 행동과 일치하는 해석 가능한 보상 신호를 복원함을 확인하였다.
• 절단 실험 결과, 완전히 훈련된 모델보다 반으로 훈련된 모델이 더 매끄럽고 효과적인 보상 신호를 제공함을 확인하였으며, 이는 희소 보상 문제를 해결하는 데 기여하였다.
• 히우리스틱 상태 분포 매칭을 통해 EBIL는 상태 전용 이mitation 학습을 성공적으로 구현하였으며, 행동 시연 없이도 복잡한 행동을 학습할 수 있도록 하였다.
• 이론적 분석을 통해 EBIL와 최대 엔트로피 IRL은 동일한 원리의 양면이며, 최대 엔트로피 IRL은 교차 최적화 하에서 EBIL의 특수한 경우임을 규명하였다.
• 부적절한 전문가 시연 데이터에 대해서도 강건성을 유지하며, 다양한 환경에서 뛰어난 성능을 유지함을 입증하였다.