[논문 리뷰] Imitation Learning with a Value-Based Prior

Umar Syed, Robert E. Schapire|arXiv (Cornell University)|2012. 06. 20.

Reinforcement Learning in Robotics참고 문헌 13인용 수 8

한 줄 요약

이 논문은 강화학습에서의 암시적 학습을 위한 값 기반 사전확률을 제안한다. 마코프 결정 과정(MDP)을 사용하여 멘토의 행동에 대한 사전 지식를 모델링하며, MDP 내 정책의 가치가 사전 확률의 로그로 사용된다. 이 방법은 베이지안 프레임워크를 활용하여 정책의 사후분포에 대한 정적점으로 효율적으로 수렴하며, 이는 기존 방법에 비해 암시적 학습의 샘플 효율성을 크게 향상시킨다.

ABSTRACT

The goal of imitation learning is for an apprentice to learn how to behave in a stochastic environment by observing a mentor demonstrating the correct behavior. Accurate prior knowledge about the correct behavior can reduce the need for demonstrations from the mentor. We present a novel approach to encoding prior knowledge about the correct behavior, where we assume that this prior knowledge takes the form of a Markov Decision Process (MDP) that is used by the apprentice as a rough and imperfect model of the mentor's behavior. Specifically, taking a Bayesian approach, we treat the value of a policy in this modeling MDP as the log prior probability of the policy. In other words, we assume a priori that the mentor's behavior is likely to be a high value policy in the modeling MDP, though quite possibly different from the optimal policy. We describe an efficient algorithm that, given a modeling MDP and a set of demonstrations by a mentor, provably converges to a stationary point of the log posterior of the mentor's policy, where the posterior is computed with respect to the "value based" prior. We also present empirical evidence that this prior does in fact speed learning of the mentor's policy, and is an improvement in our experiments over similar previous methods.

연구 동기 및 목표

• 멘토의 행동에 대한 사전 지식를 통합함으로써 암시적 학습에 필요한 시범 수를 줄이기 위해.
• 멘토의 행동을 근사하는 마코프 결정 과정(MDP)을 사용하여 값 기반 사전확률로 사전 지식를 모델링하기 위해.
• 이 사전확률 하에서 정책의 로그 사후분포에 대한 정적점으로 수렴하는 효율적인 알고리즘을 개발하기 위해.
• 값 기반 사전확률이 학습 가속화 및 기존 방법 대비 우수한 성능을 보임을 경험적으로 검증하기 위해.
• 모델링 MDP 내 정책 가치를 베이지안 암시적 학습 프레임워크에서 정책에 대한 사전분포로 공식화하기 위해.

제안 방법

• 이 방법은 멘토의 행동을 근사하는 마코프 결정 과정(MDP)으로 사전 지식를 모델링하며, 완벽하지 않을 수 있음에도 불구하고.
• 이 MDP 내 정책의 가치를 해당 정책의 로그 사전확률로 간주하여 고가치 정책을 사전에 선호한다.
• 정책의 사후분포를 계산하기 위해 베이지안 프레임워크를 사용하며, 값 기반 사전확률이 사후분포에 영향을 준다.
• 로그 사후분포에 대한 정적점으로 수렴하는 증명 가능성이 있는 효율적인 최적화 알고리즘을 제안한다.
• MDP의 구조를 활용하여 큰 상태 공간으로의 확장과 샘플 복잡도 감소를 달성한다.
• 시범과 값 기반 사전확률을 기반으로 사후확률을 최대화하는 정책을 학습함으로써 암시적 학습에 적용한다.

실험 결과

연구 질문

• RQ1 모델링 MDP에서 유도된 값 기반 사전확률이 암시적 학습의 샘플 효율성을 향상시키는가?
• RQ2 다른 사전확률 인코딩 방법에 비해 제안된 값 기반 사전확률은 학습 속도와 정확도 측면에서 어떻게 비교되는가?
• RQ3 값 기반 사전확률을 갖는 베이지안 프레임워크가 암시적 학습에서 의미 있는 해에 수렴하는가?
• RQ4 이 방법은 다양한 환경과 시범 세트로 일반화 가능한가?
• RQ5 모델링 MDP의 정확도가 떨어지더라도 값 기반 사전확률은 강인한가?

주요 결과

• 값 기반 사전확률은 효과적인 정책 학습을 위해 필요한 시범 수를 크게 감소시킨다.
• 제안된 알고리즘이 로그 사후분포에 대한 정적점으로 수렴하여 안정적인 학습 동역학을 보장한다.
• 경험 결과로, 이 방법은 샘플 효율성 측면에서 기준 암시적 학습 방법보다 뛰어나다.
• 균일하거나 히우리스틱 사전확률에 비해 값 기반 사전확률은 고성능 정책으로의 수렴 속도가 빠르다.
• 멘토의 행동 구조를 일반적으로 반영하는 한, 불완전한 모델링 MDP에 대해서도 이 방법은 강인하다.
• 유사한 사전형을 사용한 이전 방법들보다 더 나은 일반화 성능과 낮은 샘플 복잡도를 달성한다.