[논문 리뷰] Addressing Sample Inefficiency and Reward Bias in Inverse Reinforcement Learning.

Ilya Kostrikov, Kumar Krishna Agrawal외 2명|arXiv (Cornell University)|2018. 09. 09.

Reinforcement Learning in Robotics참고 문헌 17인용 수 8

한 줄 요약

이 논문은 비정상적 보상 함수의 편향을 제거하고, 태스크에 특화된 튜닝 없이 오프-폴리시 강화 학습을 사용하여 샘플 복잡도를 10배 감소시키는 새로운 IRL 알고리즘인 Discriminator-Actor-Critic을 제안한다. 이 방법은 다양한 환경에서의 태스크 일반화 능력과 이민 학습의 효율성을 향상시킨다.

ABSTRACT

We identify two issues with the family of algorithms based on the Adversarial Imitation Learning framework. The first problem is implicit bias present in the reward functions used in these algorithms. While these biases might work well for some environments, they can also lead to sub-optimal behavior in others. Secondly, even though these algorithms can learn from few expert demonstrations, they require a prohibitively large number of interactions with the environment in order to imitate the expert for many real-world applications. In order to address these issues, we propose a new algorithm called Discriminator-Actor-Critic that uses off-policy Reinforcement Learning to reduce policy-environment interaction sample complexity by an average factor of 10. Furthermore, since our reward function is designed to be unbiased, we can apply our algorithm to many problems without making any task-specific adjustments.

연구 동기 및 목표

• 특정 환경에서 최적의 행동을 이끌어내지 못할 수 있는, 적대적 이민 학습 알고리즘에 내재된 암묵적 보상 편향을 해결하기 위해.
• 실제 환경에 적용하기에 지나치게 많은 환경 상호작용이 요구되는, 현재 IRL 알고리즘의 높은 샘플 복잡도를 줄이기 위해.
• 태스크에 특화된 보상 함수 수정 없이도 다양한 작업에서 성능을 유지할 수 있는 일반화 가능한 IRL 프레임워크를 개발하기 위해.
• 오프-폴리시 RL을 통합함으로써 이민 학습의 효율성과 강건성을 향상시키기 위해.

제안 방법

• 알고리즘은 정책 학습에 필요한 환경 상호작용 수를 극적으로 줄이기 위해 오프-폴리시 강화 학습 프레임워크를 활용한다.
• 다양한 환경과 작업 간에 편향이 없도록 명시적으로 설계된 디스크리미네이터 기반의 보상 함수를 도입한다.
• 비평가 네트워크를 사용하여 가치 함수를 추정함으로써, 오프-폴리시 데이터 재사용을 통해 효율적인 정책 업데이트를 가능하게 한다.
• 디스크리미네이터가 태스크에 특화된 엔지니어링 없이 보상 신호를 제공하는 방식으로, 액터-비평가 아키텍처를 전문가 시범 데이터를 기반으로 엔드 투 엔드로 훈련한다.
• 보상 함수는 일반적으로 적대적 이민 학습 방법에 영향을 미치는 암묵적 편향을 최소화하도록 구성된다.
• 전체 프레임워크는 보상 함수 재튜닝 없이도 다양한 환경에서 안정적인 훈련과 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 샘플 효율성을 유지하면서도 이민 학습의 샘플 복잡도를 줄일 수 있는가?
• RQ2 편향 없는 보상 함수는 IRL에서 다양한 환경 간 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ3 오프-폴리시 학습은 IRL에 효과적으로 통합되어 환경 상호작용 요구 사항을 줄일 수 있는가?
• RQ4 태스크에 특화된 보상 설계를 제거함으로써 IRL 정책의 강건성과 이식 가능성은 어떻게 향상되는가?
• RQ5 기존의 적대적 IRL 접근 방식과 비교할 때, 제안된 방법은 샘플 효율성과 성능 안정성 측면에서 어떻게 다른가?

주요 결과

• 제안된 알고리즘은 기준 IRL 방법 대비 평균적으로 환경 상호작용 수를 10배 감소시킨다.
• 보상 함수 설계는 암묵적 편향을 성공적으로 제거하여, 태스크에 특화된 조정 없이도 다양한 환경에서 효과적인 성능을 달성한다.
• 제한된 전문가 시범 데이터로도 안정적인 훈련과 높은 이민 성능을 달성한다.
• 오프-폴리시 학습을 통해 상호작용 데이터의 효율적 재사용이 가능하여 샘플 효율성이 크게 향상된다.
• 편향 없는 보상 함수와 강건한 정책 훈련 덕분에, 예측할 수 없는 환경으로의 일반화 능력이 뛰어나다.
• 보상 함수나 하이퍼파라미터에 대한 수정 없이도 다양한 작업에서 뛰어난 성능을 유지한다.