[논문 리뷰] Global overview of Imitation Learning

Alexandre Attia, Sharone Dayan|arXiv (Cornell University)|2018. 01. 19.

Reinforcement Learning in Robotics참고 문헌 9인용 수 31

한 줄 요약

이 논문은 순차적 의사결정 과제에서의 수렴 보장과 성능을 비교하면서 이mitation learning 알고리즘에 대한 종합적인 리뷰를 제공한다. DAgger는 주로 분포 이탈에 대한 강건성과 능동적 데이터 수집으로 인해 가장 효과적인 방법으로 나타나며, OpenAI Gym을 사용한 시뮬레이션된 하프체티 환경에서 반복 과정 동안 정책 향상 성능이 뛰어나다.

ABSTRACT

Imitation Learning is a sequential task where the learner tries to mimic an expert's action in order to achieve the best performance. Several algorithms have been proposed recently for this task. In this project, we aim at proposing a wide review of these algorithms, presenting their main features and comparing them on their performance and their regret bounds.

연구 동기 및 목표

• 주요 이미테이션 러닝 알고리즘을 검토하고 비교함으로써 이론적 보장과 실용적 성능에 중점을 둔다.
• 수동적 지도학습의 한계를 분석함으로써, 특히 전문가의 시연 경로에서 벗어날 경우 분포 이탈을 복구하지 못하는 점을 규명한다.
• DAgger와 같은 능동적 학습 접근법이 정책 일반화와 강건성 향상에 얼마나 효과적인지 평가한다.
• 실세계 벤치마크(OpenAI Gym의 하프체티)에서 DAgger 알고리즘을 실증적으로 검증하고 학습 동역학을 평가한다.
• 최근의 이미테이션 러닝 발전, 특히 GAN 기반 및 메타학습 프레임워크를 탐색하고, 소수의 샘플에서의 이머티레이션 잠재력에 대해 논의한다.

제안 방법

• 이미테이션 러닝을 마르코프 결정 과정(MDP) 프레임워크 내에서 수식화하며, 상태 공간 S, 행동 공간 A, 전이 함수 B, 보상 함수 R, 그리고 초기 상태 분포 I를 정의한다.
• 수동적 지도학습을 이머티레이션 러닝에 적용하기 위해 전문가의 상태-행동 쌍을 기반으로 분류기 학습을 수행하며, 전문가 행동이 i.i.d.라고 가정하고, 이차 손실 유계를 사용해 성능 손실을 제한한다.
• Forward Training을 도입하여 각 시간 단계에서 이전 정책의 트레이젝터리를 사용해 비정적 정책을 반복적으로 학습함으로써, 특정 조건 하에서 하위선형 손실 유계를 달성한다.
• DAgger(Data Set Aggregation)를 능동적 학습 알고리즘으로 제안하며, 롤아웃 과정에서 각 시간 단계에서 전문가를 쿼리하여 새로운 데이터를 수집하고 정책 재학습을 통해 분포 이탈을 줄인다.
• DAgger에서 비용 감수성 분류를 사용하여 상태, 시간, 행동 및 전문가가 제공한 비용-투-골 추정치를 포함한 집계된 데이터 기반으로 정책을 학습한다.
• OpenAI Gym 환경에서 텐서플로우를 사용해 신경망 정책을 학습하고, 여러 반복 과정 동안 정책 성능을 시뮬레이션 및 평가한다.

실험 결과

연구 질문

• RQ1 다양한 이머티레이션 러닝 알고리즘은 손실 유계와 수렴 보장 측면에서 어떻게 비교될 수 있는가?
• RQ2 왜 지도학습 기반 이머티레이션 러닝은 에이전트가 전문가의 시연 경로에서 벗어날 경우 일반화 성능이 떨어지는가?
• RQ3 DAgger의 능동적 데이터 수집 방식은 수동 지도학습 대비 얼마나 정책 성능 향상에 기여하는가?
• RQ4 DAgger 알고리즘은 학습 과정에서 분포 이탈을 어떻게 줄이고 정책의 강건성을 향상시키는가?
• RQ5 DAgger는 최소한의 전문가 시연로도 강력한 성능을 달성할 수 있으며, 롤아웃 수가 증가함에 따라 어떻게 스케일링되는가?

주요 결과

• 수동적 이머티레이션 러닝은 $ J(\tilde{\tau}) \rightarrow J(\tau^*) + T^2\theta $의 이차 손실 유계를 가지며, 여기서 $ \theta $는 분류기 오류율이다. 이는 이격 시 일반화 성능이 열 劣하다는 것을 시사한다.
• Forward Training은 $ J(\tilde{\tau}) \rightarrow J(\tau^*) + O(uT\theta) $의 근사 선형 손실 유계를 달성하여 오류 복구 기능을 통해 수동 학습 대비 성능 향상을 보여준다.
• DAgger는 롤아웃 중 전문가를 능동적으로 쿼리함으로써 분포 이탈을 줄이고 더 나은 정책 일반화를 가능하게 하여 수동 방법보다 뚜렷한 성능 향상을 보였다.
• 하프체티 환경에서 DAgger 알고리즘은 30회 이내에 수렴하는 학습 손실과 검증 손실을 기록하였으며, 정책 반복 과정에서 점프 착지 정확도가 뚜렷하게 향상되었다.
• 검증 세트에서 선택된 최종 정책는 안정적이고 향상된 성능을 보였으며, 이는 DAgger가 실세계 이머티레이션 러닝 과제에서 효과적임을 확인한다.
• 최근의 발전, 특히 GAN 기반 및 메타학습 프레임워크는 소수의 샘플에서의 이머티레이션 잠재력을 보여주며, OpenAI의 방법은 VR 및 신경망 사전학습을 통해 단일 시연로도 이머티레이션을 달성했다.