[논문 리뷰] Inverse Reinforcement Learning with Simultaneous Estimation of Rewards and Dynamics

Michael Herman, Tobias Gindele외 3명|arXiv (Cornell University)|2016. 04. 13.

Reinforcement Learning in Robotics참고 문헌 2인용 수 19

한 줄 요약

이 논문은 전문가의 시연에서 보상 함수와 마르코프 결정 과정(MDP) 동역학을 동시에 추정하는 기반으로 하는 경사하강 기반의 역강화학습 방법인 SERD를 제안한다. 전문가의 정책을 통해 보상과 동역학 간의 상호의존성을 모델링함으로써, 특히 동역학이 잘 관측되지 않을 경우에도 샘플 효율성과 추정 정확도를 향상시킨다. 이는 모델-무관 및 모델-기반 IRL 기준선 대비 합성 MDP와 전이 학습 작업 모두에서 뛰어난 성능을 보여준다.

ABSTRACT

Inverse Reinforcement Learning (IRL) describes the problem of learning an unknown reward function of a Markov Decision Process (MDP) from observed behavior of an agent. Since the agent's behavior originates in its policy and MDP policies depend on both the stochastic system dynamics as well as the reward function, the solution of the inverse problem is significantly influenced by both. Current IRL approaches assume that if the transition model is unknown, additional samples from the system's dynamics are accessible, or the observed behavior provides enough samples of the system's dynamics to solve the inverse problem accurately. These assumptions are often not satisfied. To overcome this, we present a gradient-based IRL approach that simultaneously estimates the system's dynamics. By solving the combined optimization problem, our approach takes into account the bias of the demonstrations, which stems from the generating policy. The evaluation on a synthetic MDP and a transfer learning task shows improvements regarding the sample efficiency as well as the accuracy of the estimated reward functions and transition models.

연구 동기 및 목표

• 기존 IRL 방법이 알려진 또는 잘 추정된 시스템 동역학을 전제로 하므로 실제에서는 종종 비현실적인 점을 해결하기 위해.
• 보상 함수와 MDP 전이 동역학을 동시에 학습시켜 역강화학습의 샘플 효율성과 추정 정확도를 향상시키기 위해.
• 전이가 관측되지 않더라도 전문가의 정책을 통해 보상과 동역학에 대한 정보가 암묵적으로 포함되어 있음을 활용하기 위해.
• 보상과 동역학 파라미터를 동시에 최적화할 수 있는 미분 가능하고 경사 기반 프레임워크를 개발하기 위해.
• 제한되거나 편향된 시연가 있는 상황, 특히 전이 학습 설정에서의 성능 평가를 위해.

제안 방법

• 전문가의 정책을 통해 두 요소를 연결하는 다리로 삼아, 보상 파라미터와 동역학 파라미터에 대한 공동 최적화 문제로 IRL을 공식화한다.
• 최대 할인 인과 엔트로피 IRL 프레임워크를 기반으로 하되, 미분 가능한 소프트 Q-반복 연산자를 통해 동역학 추정을 확장한다.
• 암시함수정리(implicit function theorem)를 활용해 수렴한 소프트 Q-함수의 경사도를 보상 및 동역학 파라미터에 대해 계산한다.
• 리프시츠 연속성과 수축 사상 조건 하에서 수렴 보장을 갖춘 반복 정책 경사도 계산을 시행한다.
• 전이 모델 파라미터 θ를 정책 경사도 계산에 통합하여, 동역학과 보상 함수를 통해 끝에서 끝까지 역전파(backpropagation)를 가능하게 한다.
• 추정된 모델 하에서 관측된 시연의 확률을 최대화하는 공동 가능도 목적함수를 유도하며, 이는 보상과 동역학의 불확실성을 모두 고려한다.

실험 결과

연구 질문

• RQ1 전문가의 시연가 희소하거나 편향되어 있을 경우, IRL에서 보상과 동역학을 공동으로 추정하는 것이 샘플 효율성을 향상시킬 수 있는가?
• RQ2 모델-무관 및 모델-기반 IRL 접근법과 비교해 볼 때, 공동 추정의 성능은 보상 및 동역학 정확도 측면에서 어떻게 다른가?
• RQ3 관측되지 않은 상태-행동 쌍은 전문가의 정책을 제약 조건으로 삼아 얼마나 잘 추론할 수 있는가?
• RQ4 제안된 방법은 전이 학습 작업과 같이 새로운 환경에 대해 더 잘 일반화되는가?
• RQ5 전문가의 정책을 보상과 동역학의 함수로 모델링할 경우, 추정 편향과 수렴에 어떤 영향을 미치는가?

주요 결과

• 훈련 작업에서 시연 세트 크기가 3를 초과할 경우, SERD는 기준선 방법 대비 통계적으로 유의미한 시연의 로그우도 향상을 보였다(p < 0.05).
• 전이 학습 작업에서, 시연 세트 크기가 12를 초과할 경우 SERD는 로그우도 측면에서 통계적으로 유의미한 성과 향상을 보였다(p < 0.05).
• 기준선 IRL 방법 대비 추정된 전이 모델과 진짜 전이 모델 간의 쿨백-라이블러 발산(Kullback-Leibler divergence)을 최대 40% 감소시켰다.
• 합성 MDP에서 SERD는 학습된 정책과 진짜 전문가 정책 간 KL 발산을 30~50% 감소시켜 더 나은 정책 모방을 나타냈다.
• 공동 추정 프레임워크 덕분에, 관측되지 않은 상태-행동 쌍에 대해서도 정확한 동역학 추론이 가능했으며, 전문가의 정책을 정규화 신호로 활용했다.
• 표준 가정, 즉 리프시츠 연속성과 γ < 1 조건 하에서 반복 정책 경사도 계산의 수렴이 증명되었다.