[논문 리뷰] Adversarial Imitation via Variational Inverse Reinforcement Learning

Ahmed H. Qureshi, Byron Boots외 1명|arXiv (Cornell University)|2018. 09. 17.

Reinforcement Learning in Robotics참고 문헌 24인용 수 6

한 줄 요약

이 논문은 변분 정보 최대화를 통한 에너지 최대화 정규화를 통해 근사 최적의 상태-행동 보상 함수와 정책을 동시에 학습하는 새로운 적대적 역강화학습 방법인 EAIRL을 제안한다. 이 방법은 유사 최적의 보상 함수와 정책을 복원함으로써, 동적 또는 구조적 도메인 이동 상황에서도 전문가 수준의 행동을 가능하게 하는 강건하고 분리된, 이식 가능한 보상 함수를 회복한다. 이는 유사 최적의 보상 함수와 정책을 복원함으로써, 동적 또는 구조적 도메인 이동 상황에서도 전문가 수준의 행동을 가능하게 하는 강건하고 분리된, 이식 가능한 보상 함수를 회복한다.

ABSTRACT

We consider a problem of learning the reward and policy from expert examples under unknown dynamics. Our proposed method builds on the framework of generative adversarial networks and introduces the empowerment-regularized maximum-entropy inverse reinforcement learning to learn near-optimal rewards and policies. Empowerment-based regularization prevents the policy from overfitting to expert demonstrations, which advantageously leads to more generalized behaviors that result in learning near-optimal rewards. Our method simultaneously learns empowerment through variational information maximization along with the reward and policy under the adversarial learning formulation. We evaluate our approach on various high-dimensional complex control tasks. We also test our learned rewards in challenging transfer learning problems where training and testing environments are made to be different from each other in terms of dynamics or structure. The results show that our proposed method not only learns near-optimal rewards and policies that are matching expert behavior but also performs significantly better than state-of-the-art inverse reinforcement learning algorithms.

연구 동기 및 목표

• 기존의 역강화학습(IRL) 방법이 이식 가능하고 분리된, 행동에 의존하는 보상 함수를 회복하는 데에 한계를 가진다는 문제를 해결하기 위해.
• 정책 학습에 에너지 최대화를 정규화로 도입하여 적대적 모방 학습에서의 과적합 및 국소 수렴 문제를 해결하기 위해.
• 실제 제어 작업(예: 이동 및 조작)에 필수적인 근사 최적의 상태-행동 기반 보상 함수를 회복할 수 있도록 하기 위해.
• 다른 동역학 또는 구조를 가진 환경 간에 학습된 정책과 보상의 일반화 능력 및 이식 가능성을 향상시키기 위해.
• 적대적 훈련과 변분 정보 최대화를 통해 보상, 정책, 에너지 최대화를 동시에 학습하는 통합 프레임워크를 개발하기 위해.

제안 방법

• 전문가의 경로와 생성된 경로를 구분하기 위해 훈련하는 판별자와 함께 생성적 적대적 모방 학습(GAIL) 프레임워크를 사용한다.
• 정책 업데이트에 에너지 최대화 정규화를 도입하여 에이전트가 미래 상태에 영향을 미칠 수 있는 능력을 극대화하도록 유도함으로써, 전문가 시연에 대한 과적합을 방지한다.
• 변분 정보 최대화(VIM)를 사용하여 에너지 최대화, 보상, 정책을 종합적으로 엔드 투 엔드로 미분 가능한 방식으로 함께 학습한다.
• 보상 함수를 상태와 행동(s,a)의 함수로 모델링하여 토크 페널티가 필요한 제어 작업에 필수적인 행동 의존적 형태를 가능하게 한다.
• 최대 엔트로피 역강화학습(MaxEnt-IRL) 원리를 적용하여 정책 행동의 확률성과 다양성을 보장한다.
• 중요도 샘플링과 KL 발산 최소화를 활용하여 정책이 생성한 경로 분포를 전문가 시범과 일치시킨다.

실험 결과

연구 질문

• RQ1 에너지 최대화 정규화는 적대적 모방 학습에서 전문가 시범으로부터 학습된 정책의 일반화 능력과 강건성을 향상시키는가?
• RQ2 보상 함수를 상태와 행동의 함수로 모델링할 경우, 상태만을 고려하는 형태에 비해 진정한 행동 의존적 보상 구조를 더 잘 복원하는가?
• RQ3 제안된 방법은 다양한 동역학 또는 구조를 가진 환경 간에 이식 가능하고 분리된, 근사 최적의 보상 함수를 학습할 수 있는가?
• RQ4 GAIL과 AIRL과 같은 최신 기술 IRL 방법에 비해 EAIRL의 정책 성능과 보상 복원 품질은 어떻게 비교되는가?
• RQ5 에너지 최대화 정규화는 정책 훈련 중에 국소 행동으로의 조기 수렴을 어느 정도 방지하는가?

주요 결과

• HalfCheetah 환경에서 EAIRL은 평균 수익 1870.10 ± 17.86을 기록하여 GAIL(1880.05 ± 15.72)과 AIRL(s,a)(1826.26 ± 19.64)를 모두 앞서며, 분산이 더 낮다.
• Ant 환경에서 EAIRL은 641.12 ± 25.92의 수익을 기록하여 AIRL(s)(271.31 ± 9.35)와 GCL(-189.90 ± 44.42)를 크게 앞서며, 뛰어난 정책 학습 능력을 보여준다.
• EAIRL은 진정한 보상 함수의 행동 의존적 페널티 항을 성공적으로 복원했으며, 이는 AIRL(s)가 이러한 항을 학습하지 못하고 극단적으로 불안정한 행동을 보이는 데 비해 유의미한 차이를 보인다.
• 이식 학습에서 EAIRL의 학습된 보상은 동역학이나 구조가 다른 환경으로 일반화되어 전문가 수준의 성능을 달성하며, 다른 방법이 실패하는 상황에서도 성공한다.
• 실험 결과에 따르면, 상태만을 고려하는 보상 형태(AIRL(s) 등)는 행동 정규화가 누락되어 이동 작업에서 뒤집히는 악성 행동을 유도함을 보여준다.
• 에너지 최대화 정규화와 상태-행동 보상 모델링의 조합은 다양한 제어 작업에서 근사 최적의 정책과 강건하고 이식 가능한 보상 함수를 동시에 회복할 수 있도록 한다.