[논문 리뷰] Imitation learning based on entropy-regularized forward and inverse reinforcement learning.

Eiji Uchibe, Kenji Doya|arXiv (Cornell University)|2020. 08. 17.

Reinforcement Learning in Robotics참고 문헌 48인용 수 5

한 줄 요약

이 논문은 엔트로피 정규화를 통한 이행 학습(ERIL)을 제안하며, 엔트로피 정규화 하에 전방 및 역방향 강화 학습을 통합한 새로운 이행 학습 프레임워크이다. 이중 판별기와 밀도 비율 기법을 활용하여 역방향 KL 발산을 최소화함으로써 샘플 효율적인 정책 학습을 달성하며, MuJoCo 환경에서 기존 방법들을 능가하고 인간의 막대 균형 행동을 해석 가능한 보상 함수로 성공적으로 모델링한다.

ABSTRACT

This paper proposes Entropy-Regularized Imitation Learning (ERIL), which is a combination of forward and inverse reinforcement learning under the framework of the entropy-regularized Markov decision process. ERIL minimizes the reverse Kullback-Leibler (KL) divergence between two probability distributions induced by a learner and an expert. Inverse reinforcement learning (RL) in ERIL evaluates the log-ratio between two distributions using the density ratio trick, which is widely used in generative adversarial networks. More specifically, the log-ratio is estimated by building two binary discriminators. The first discriminator is a state-only function, and it tries to distinguish the state generated by the forward RL step from the expert's state. The second discriminator is a function of current state, action, and transitioned state, and it distinguishes the generated experiences from the ones provided by the expert. Since the second discriminator has the same hyperparameters of the forward RL step, it can be used to control the discriminator's ability. The forward RL minimizes the reverse KL estimated by the inverse RL. We show that minimizing the reverse KL divergence is equivalent to finding an optimal policy under entropy regularization. Consequently, a new policy is derived from an algorithm that resembles Dynamic Policy Programming and Soft Actor-Critic. Our experimental results on MuJoCo-simulated environments show that ERIL is more sample-efficient than such previous methods. We further apply the method to human behaviors in performing a pole-balancing task and show that the estimated reward functions show how every subject achieves the goal.

연구 동기 및 목표

• 엔트로피 정규화 하에 전방 및 역방향 강화 학습을 통합한 통합된 이행 학습 프레임워크를 개발하는 것.
• 전문가 정책과 학습자 정책 간의 역방향 KL 발산을 최소화하여 정책 학습의 샘플 효율성을 향상시키는 것.
• 제공된 트레이젝터리에서 해석 가능한 보상 함수를 추정하여 제어 작업에서 인간의 행동 전략을 모델링하는 것.
• 공유된 초모수를 가진 두 개의 판별기를 통해 밀도 비율 기법을 사용해 강인한 보상 함수 추정을 가능하게 하는 것.
• 엔트로피 정규화 하에 동적 정책 프로그래밍과 소프트 액터-크리틱과 유사한 새로운 정책 최적화 알고리즘을 유도하는 것.

제안 방법

• ERIL은 정책 학습의 안정성과 탐색 능력을 향상시키기 위해 엔트로피 정규화된 마르코프 결정 과정을 사용한다.
• 전문가의 상태 분포와 학습자에 의해 유도된 분포 간의 역방향 KL 발산을 상태 전용 판별기를 통해 최소화한다.
• 두 번째 판별기는 상태, 행동, 다음 상태에 조건화되어, 전문가 트레이젝터리와 생성된 트레이젝터리를 밀도 비율 기법을 통해 구분한다.
• 두 판별기는 상태 및 전이 분포 간의 로그 비율을 추정하기 위해 훈련되어, 역방향 RL을 통해 보상 함수를 복원할 수 있도록 한다.
• 전방 RL 구성 요소는 역방향 RL에서 추정한 역방향 KL을 사용하여 정책을 최적화하며, 엔트로피 정규화 하에 발산을 최소화함으로써 효과적으로 작용한다.
• 결과적으로 유도된 알고리즘은 동적 정책 프로그래밍과 소프트 액터-크리틱과 유사한 새로운 정책 업데이트 규칙을 유도하며, 안정성과 샘플 효율성을 향상시키기 위해 엔트로피 정규화를 통합한다.

실험 결과

연구 질문

• RQ1 엔트로피 정규화 하에 전방 및 역방향 RL을 통합하면 이행 학습의 샘플 효율성이 향상되는가?
• RQ2 공유된 초모수를 가진 이중 판별기의 사용은 정책 및 보상 함수 학습에 어떤 영향을 미치는가?
• RQ3 ERIL은 제어 작업에서 인간의 행동 전략을 반영하는 보상 함수를 정확히 복원할 수 있는가?
• RQ4 RL 프레임워크에 엔트로피 정규화를 적용하면 기준 방법 대비 더 안정적이고 일반화 가능한 정책 최적화가 이루어지는가?
• RQ5 복잡한 MuJoCo 환경에서 ERIL은 기존의 이행 학습 방법들을 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• ERIL은 MuJoCo 시뮬레이션 환경에서 기존의 이행 학습 방법들보다 더 높은 샘플 효율성을 달성하였으며, 빠른 수렴 속도와 낮은 데이터 요구량을 통해 이를 입증하였다.
• 막대 균형 작업에서 인간의 시연로부터 추정된 보상 함수는 명확한 행동 전략을 드러내며, 인간 성능과 일관되고 해석 가능하다.
• 이중 판별기 아키텍처는 전문가와 학습자 분포 간의 로그 비율을 정확하게 추정할 수 있게 하여, 역방향 RL 성능을 향상시켰다.
• 엔트로피 정규화 하에 역방향 KL 발산을 최소화하는 것은 안정적이고 효과적인 정책 최적화 과정을 이끌었으며, 소프트 액터-크리틱과 동적 정책 프로그래밍과 유사한 성질을 보였다.
• 이 방법은 다양한 제어 작업으로 일반화되며, 제한된 전문가 시연로도 성능을 유지하였다.
• 두 판별기 간의 공유 초모수는 보상 추정 과정에서의 훈련 안정성 향상과 오버피팅 감소에 기여하였다.