[논문 리뷰] Maximum Entropy Deep Inverse Reinforcement Learning

Markus Wulfmeier, Peter Ondrúška외 1명|arXiv (Cornell University)|2015. 07. 17.

Reinforcement Learning in Robotics참고 문헌 26인용 수 286

한 줄 요약

이 논문은 전연결 합성곱 신경망(FCNNs)을 사용하여 전문가 시범으로부터 복잡한 비선형 보상 함수를 학습하는 Maximum Entropy Deep Inverse Reinforcement Learning (DeepIRL) 프레임워크를 제안한다. Maximum Entropy IRL 목적함수를 활용함으로써, 완전히 미분 가능한 엔드 투 엔드 학습이 가능해져 표준 벤치마크에서 최신 기술 수준의 성능을 달성하고, 보상 구조가 매우 다양한 새로운 벤치마크에서는 이전 방법들보다 뚜렷이 뛰어난 성능을 보이며, 동시에 시범 수에 관계없이 계산 효율성이 유지된다.

ABSTRACT

This paper presents a general framework for exploiting the representational capacity of neural networks to approximate complex, nonlinear reward functions in the context of solving the inverse reinforcement learning (IRL) problem. We show in this context that the Maximum Entropy paradigm for IRL lends itself naturally to the efficient training of deep architectures. At test time, the approach leads to a computational complexity independent of the number of demonstrations, which makes it especially well-suited for applications in life-long learning scenarios. Our approach achieves performance commensurate to the state-of-the-art on existing benchmarks while exceeding on an alternative benchmark based on highly varying reward structures. Finally, we extend the basic architecture - which is equivalent to a simplified subclass of Fully Convolutional Neural Networks (FCNNs) with width one - to include larger convolutions in order to eliminate dependency on precomputed spatial features and work on raw input representations.

연구 동기 및 목표

• 비선형적이고 일반화 가능한 함수 학습을 가능하게 하여, 보상 함수 근사에서 선형 및 커널 기반 접근법의 한계를 해결하기 위해.
• 시범 수에 관계없이 계산 복잡도가 일정한 것을 보장함으로써, 수명 주기 학습 시나리오에서의 효율적 추론을 가능하게 하기 위해.
• 수작업으로 설계된 공간적 특징에 의존하지 않도록 하여, 더 넓은 합성곱 필터를 사용해 원시 입력에서 직접 임의의 작업 관련 표현을 학습하기 위해.
• Maximum Entropy IRL 프레임워크를 딥 신경망으로 확장하여, 완전히 미분 가능한 엔드 투 엔드 학습과 확장성을 가능하게 하기 위해.
• 이전 방법들이 실패하거나 성능이 열등한, 매우 복잡하고 다양성이 높은 보상 구조에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 최대 엔트로피 IRL 목적함수를 딥 신경망에 적응시켜, 엔드 투 엔드 학습에 적합한 완전히 미분 가능한 손실 함수를 도출한다.
• 보상 함수를 공간 맵으로 모델링하기 위해 너비가 1인 아키텍처를 사용한 전연결 합성곱 신경망(FCNNs)을 적용하여 공간적 구조를 유지한다.
• 기본 FCNN을 확장하여 더 넓은 합성곱 필터를 포함시켜, 사전 계산된 특징 없이도 원시 입력에서 직접 공간적 특징을 학습할 수 있도록 한다.
• 전연결 아키텍처를 사용해 입력과 동일한 공간 차원을 가지는 조밀한 보상 맵을 생성함으로써, 조밀한 예측 작업을 지원한다.
• 전문가 시범을 사용하여 네트워크를 학습하고, 유추된 보상 함수 하에서 관측된 궤적의 가능도를 최적화한다.
• 전체 네트워크를 통해 역전파를 적용하여 특징 추출과 보상 예측을 동시에 최적화함으로써, 공동의 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 신경망은 계산 효율성을 유지하면서도 복잡한 비선형 보상 함수를 역강화 학습에서 효과적으로 근사할 수 있는가?
• RQ2 완전히 미분 가능한 목적함수 덕분에 최대 엔트로피 IRL 프레임워크가 딥 아키텍처 학습을 자연스럽게 지원하는가?
• RQ3 원시 입력에서의 엔드 투 엔드 학습이 성능을 저하시키지 않고 수작업으로 설계된 공간적 특징이 필요 없도록 할 수 있는가?
• RQ4 보상 구조의 복잡성이 증가함에 따라 기존 최신 기술 대비 제안된 방법의 확장성은 어떻게 되는가?
• RQ5 증가하는 수의 시범이 있는 장기 수명 주기 학습 환경에서 모델은 효과적으로 일반화할 수 있는가?

주요 결과

• 제안된 DeepIRL 프레임워크는 Objectworld 및 Binaryworld와 같은 표준 IRL 벤치마크에서 최신 기술 수준의 방법들과 비슷한 성능을 달성한다.
• 보상 구조가 매우 다양성이 높은 새로운 벤치마크에서는 DeepIRL가 기존 방법들을 뚜렷이 앞서며, 복잡한 특징 상호작용을 더 잘 모델링함을 입증한다.
• 시범 수에 관계없이 일정한 추론 복잡도를 유지하므로, 로봇 공학 분야의 장기 수명 주기 학습에 매우 적합하다.
• 더 넓은 합성곱 필터를 사용해 원시 입력을 처리할 경우, 모델은 엔드 투 엔드로 공간적 특징을 학습하고, 최적의 설계된 특징을 사용한 경우와 비교해 유사한 성능에 도달한다.
• 원시 입력과 넓은 필터를 사용할 경우 더 많은 학습 데이터가 필요로 하지만, 전문가 시범 수가 증가함에 따라 성능이 향상되어 사전 정의된 특징을 사용한 경우의 성능에 가까워진다.
• 프레임워크는 매우 유연하여 다양한 FCNN 아키텍처를 사용할 수 있으며, 향후 자동에코더 미리학습과 같은 기법과의 통합을 통해 샘플 효율성을 향상시킬 수 있다.