[논문 리뷰] Apprenticeship Learning using Inverse Reinforcement Learning and Gradient Methods

Gergely Neu, Csaba Szepesvári|arXiv (Cornell University)|2012. 06. 20.

Reinforcement Learning in Robotics참고 문헌 10인용 수 156

한 줄 요약

이 논문은 하향 기반 알고리즘을 제안하며, 보조 학습을 위한 역강화 학습을 통해 비연속성과 중복성을 가진 정책 매핑을 처리하기 위해 초미분과 자연 기울기를 사용한다. 이는 두 개의 인공 환경에서 이전 방법들보다 더 신뢰성 있고 효율적인 전문가 행동 모방을 달성한다.

ABSTRACT

In this paper we propose a novel gradient algorithm to learn a policy from an expert's observed behavior assuming that the expert behaves optimally with respect to some unknown reward function of a Markovian Decision Problem. The algorithm's aim is to find a reward function such that the resulting optimal policy matches well the expert's observed behavior. The main difficulty is that the mapping from the parameters to policies is both nonsmooth and highly redundant. Resorting to subdifferentials solves the first difficulty, while the second one is over- come by computing natural gradients. We tested the proposed method in two artificial domains and found it to be more reliable and efficient than some previous methods.

연구 동기 및 목표

• 전문가의 행동 시퀀스로부터 기반 보상 함수를 추론하여 정책을 학습하기 위해.
• 역강화 학습에서 보상 파라미터에서 정책으로의 비연속성과 중복성 있는 매핑 문제를 해결하기 위해.
• 기존 방법들에 비해 보다 높은 신뢰성과 효율성을 갖춘 보조 학습을 향상시키기 위해.
• 정책 파라미터 공간에서 안정적인 최적화를 위해 초미분과 자연 기울기를 활용하기 위해.
• 알려진 최적 행동을 가진 제어된 환경에서 방법을 검증하기 위해.

제안 방법

• 전문가의 경로에서 기반 보상 함수를 추론하기 위해 역강화 학습을 사용한다.
• 정책이 보상 파라미터에 대해 비연속적으로 의존할 경우를 다루기 위해 초미분을 적용한다.
• 파라미터 공간의 중복성을 줄이고 수렴성을 향상시키기 위해 자연 기울기 방법을 활용한다.
• 유도된 최적 정책가 전문가의 행동과 일치하도록 보상 함수를 최적화한다.
• 유도된 보상 하에서 전문가 행동 시퀀스의 가능도를 기반으로 기울기 상승 프레임워크를 사용한다.
• 정책 평가와 기울기 업데이트를 통한 반복적 보상 함수 개선을 조합한다.

실험 결과

연구 질문

• RQ1 정책 매핑이 비연속적일 경우 전문가 행동 시퀀스로부터 보상 함수를 효과적으로 학습할 수 있는가?
• RQ2 정책 파rameter화에서 높은 중복성이 존재할 경우 학습을 안정화하는 데 어떤 최적화 기법이 효과적인가?
• RQ3 기본 기울기 접근법에 비해 자연 기울기 방법이 역강화 학습에서 수렴성과 신뢰성 향상에 기여하는가?
• RQ4 기존의 역강화 학습 알고리즘에 비해 제안된 방법의 성능과 안정성은 어떻게 비교되는가?
• RQ5 어떤 유형의 환경에서 이 방법이 강건성과 효율성을 보여주는가?

주요 결과

• 제안된 방법은 두 개의 인공 도메인에서 이전 방법들보다 더 높은 안정성과 효율성으로 전문가 행동을 모방한다.
• 초미분의 사용은 비연속적 정책 매핑에도 불구하고 안정적인 최적화를 가능하게 한다.
• 자연 기울기 업데이트는 파라미터 공간의 중복성을 감소시켜 더 빠른 수렴을 이끈다.
• 알고리즘은 전문가의 행동과 매우 유사한 정책을 생성하는 보상 함수를 성공적으로 추론한다.
• 실험 결과는 기준 방법들에 비해 수렴 속도와 안정성 측면에서 향상된 성능을 보였다.
• 복잡한 최적 행동 구조를 가진 환경에서도 이 방법은 강건성을 보였다.