[논문 리뷰] Model-Free Imitation Learning with Policy Optimization

Jonathan Ho, Jayesh K. Gupta외 1명|arXiv (Cornell University)|2016. 05. 26.

Reinforcement Learning in Robotics참고 문헌 19인용 수 41

한 줄 요약

이 논문은 반복적인 계획 문제 해결이 필요 없도록, 정책 기울기 방법을 사용하여 확률적 정책을 직접 최적화하는 모델 프리 인식 학습 방법을 제안한다. 파라미터화된 정책에 대한 기울기 기반 최적화로 사전 학습 학습을 공식화함으로써 국소 수렴을 달성하고, 단지 전문가의 시연 경로만을 사용하여 고차원 연속 제어 과제에서 깊이 있는 신경망 정책을 성공적으로 훈련시킨다. 이는 이전 방법들보다 확장성과 강인성 면에서 뛰어나다.

ABSTRACT

In imitation learning, an agent learns how to behave in an environment with an unknown cost function by mimicking expert demonstrations. Existing imitation learning algorithms typically involve solving a sequence of planning or reinforcement learning problems. Such algorithms are therefore not directly applicable to large, high-dimensional environments, and their performance can significantly degrade if the planning problems are not solved to optimality. Under the apprenticeship learning formalism, we develop alternative model-free algorithms for finding a parameterized stochastic policy that performs at least as well as an expert policy on an unknown cost function, based on sample trajectories from the expert. Our approach, based on policy gradients, scales to large continuous environments with guaranteed convergence to local minima.

연구 동기 및 목표

• 반복적 계획 또는 내부 루프에서 강화 학습에 의존하는 기존 인식 학습 방법의 확장성 한계를 해결한다.
• 명시적인 비용 함수 학습과 계획을 피하는 모델 프리 접근법을 개발하여 계산 오버헤드를 감소시킨다.
• 기존 방법이 계산적으로 비가능한 이유로 실패하는 고차원 연속 제어 환경에서 효과적인 모방을 가능하게 한다.
• 정책 기울기 최적화 하에서 국소 최적점으로의 이론적 수렴 보장을 제공하여 최적 계획 없이도 안정적인 학습을 보장한다.
• 로봇 제어 및 고속도로 주행 시뮬레이션과 같은 복잡한 과제에서 이 방법의 효과성을 입증한다.

제안 방법

• 전문가 정책과 학습된 정책 성능 간의 차이를 최소화하는 방식으로 사전 학습 학습을 정책 기울기 최적화 문제로 공식화하며, 이는 비용 함수의 클래스에 대해 수행된다.
• 기울기 상승을 통한 엔드 투 엔드 훈련이 가능한 미분 가능한 아키텍처(예: 신경망)를 사용하여 에이전트의 행동을 표현한다.
• 신뢰 영역 정책 최적화(TRPO)를 적용하여 훈련을 안정화하고 정책 업데이트에 대한 제약 조건을 활용함으로써 단조로운 향상 보장을 한다.
• 전문가 행동과 열등한 정책을 구분할 수 있는 비용 함수의 클래스(예: 선형 또는 이차 특성)를 정의하고, 이를 정책 최적화를 위한 대체 신호로 사용한다.
• 훈련 중에 보상 신호나 전문가 상호작용 없이 전용 시연 경로만을 사용하여 정책을 훈련시킨다.
• 상태-행동 방문 분포와 이점 함수를 사용하여 정책 기울기를 계산함으로써 연속 공간에서 샘플 효율적인 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 반복적 계획 문제를 각 반복마다 해결하지 않는 모델 프리 정책 최적화 접근법이 효과적인 인식 학습을 달성할 수 있는가?
• RQ2 반복적 강화 학습 또는 비용 함수 피팅이 필요한 방법과 비교할 때, 직접 기울기 최적화를 통해 훈련된 정책의 성능는 어떻게 되는가?
• RQ3 이 방법은 복잡한 관측값을 가진 고차원 연속 제어 과제에 얼마나 잘 스케일링될 수 있는가?
• RQ4 정책 최적화에서 신뢰 영역 제약 조건을 사용할 경우, 인식 학습에서 수렴성과 안정성이 향상되는가?
• RQ5 이 방법은 고속도로 주행 시뮬레이션과 같은 복잡한 환경에서 예상치 못한 상태로 일반화되어 인간과 유사한 행동을 생성할 수 있는가?

주요 결과

• 제안된 방법인 IM-TRPO는 600개 이상의 연속 특성을 가진 환경에서도 깊이 있는 신경망 정책을 성공적으로 훈련시켰으며, 전체 환경 모델을 사용하는 최신 기법들과 비교해 유사한 성능을 달성했다.
• 부분 관측이 가능한 고속도로 주행 과제(610차원 센서 입력)에서 IM-TRPO는 인간 시연 및 전체 상태 정보 접근이 가능한 CIOC와 비교해 정성적·정량적으로 유사한 행동을 생성하는 정책을 학습했다.
• 20개 센서 설정에서 IM-TRPO는 1000회 반복 이내에 약 1.5의 초과 비용을 기록하여 최적 계획이 필요 없이 안정적인 수렴을 보였다.
• 전문가 정책이 완벽하지 않은 경우에도 성능 저하가 뚜렷하지 않아, 불완전한 시연에 대한 강인성을 보였다.
• 내부 루프 계획 문제를 최적화하지 않아도 국소 최적 정책을 확보하는 수렴 보장을 제공하여, 경쟁 방법들이 이러한 보장을 갖지 못하는 것과 대비된다.
• 모든 평가 과제에서 학습된 정책는 예상치 못한 상태로 효과적으로 일반화되었으며, 트레이젝터리 수준 학습으로 인한 누적 오류 문제를 피하면서 행동 클로닝보다 뛰어난 성능을 보였다.