[논문 리뷰] Imitation Learning: Progress, Taxonomies and Challenges

Boyuan Zheng, Sunny Verma외 3명|arXiv (Cornell University)|2021. 06. 23.

Reinforcement Learning in Robotics참고 문헌 81인용 수 10

한 줄 요약

이 종합 검토는 비례 학습(IL)에 대한 포괄적인 검토를 제공하며, 저수준 및 고수준 작업을 구분하고, BC, IRL, 그리고 적대적 구조적 IL을 포함한 최신 분류 체계를 도입한다. IL의 진전을 종합하고, 최적의 시범 데이터 부족 및 표현 학습과 같은 핵심 과제를 규명하며, 이전 학습 및 음성 기반 지시와 같은 향후 방향을 제시한다.

ABSTRACT

Imitation learning aims to extract knowledge from human experts' demonstrations or artificially created agents in order to replicate their behaviors. Its success has been demonstrated in areas such as video games, autonomous driving, robotic simulations and object manipulation. However, this replicating process could be problematic, such as the performance is highly dependent on the demonstration quality, and most trained agents are limited to perform well in task-specific environments. In this survey, we provide a systematic review on imitation learning. We first introduce the background knowledge from development history and preliminaries, followed by presenting different taxonomies within Imitation Learning and key milestones of the field. We then detail challenges in learning strategies and present research opportunities with learning policy from suboptimal demonstration, voice instructions and other associated optimization schemes.

연구 동기 및 목표

• 최근 발전을 반영한 업데이트된 분류 체계를 제공하여 비례 학습(IL)에 대한 체계적인 검토를 수행하는 것.
• 행동 복제(BC)와 역강화 학습(IRL)에서 현대적 적대적 및 구조적 접근법으로의 비례 학습의 진화를 분석하는 것.
• 고품질의 시범 데이터에 대한 의존도, 일반화 능력의 제한, 표현 학습의 열악함을 포함한 비례 학습의 지속적인 과제를 규명하는 것.
• 부적합한 시범 데이터에서의 학습, 음성 지시, 이전 학습과 같은 향후 연구 방향을 탐색하는 것.
• GAIL과 같은 GAN 기반 방법이 전통적인 분류 경계를 흐리게 하여 발생하는 분류 체계의 모호성을 명확히 하는 것.

제안 방법

• 비례 학습 방법을 저수준 대 고수준 작업, 그리고 BC 대 IRL 대 적대적 구조적 IL로 분류하는 새로운 분류 체계를 제안하여 더 명확한 개념적 경계를 제공한다.
• 행동 복제(BC), 역강화 학습(IRL), 생성적 적대적 비례 학습(GAIL)을 포함한 기초적인 비례 학습 기법을 검토한다.
• 자기지도 및 대비 표현 학습 방법(예: 시간 대비 네트워크)을 분석하여 데이터 효율성 향상과 도메인 일반화를 개선한다.
• 전문가 데이터에 대한 완벽한 의존도를 줄이기 위해 비전문가 또는 부적합한 시범 데이터를 사용하는 방법(예: 교사-학생 distillation)을 고려한다.
• 비례 학습에서 시각적 관측과 함께 자연어 및 음성 지시를 보완 신호로 통합하는 방법을 제안한다.
• 표본 효율성 향상과 정책 일반화 향상을 위해 중요도 샘플링 및 이전 학습과 같은 최적화 기법을 제안한다.

실험 결과

연구 질문

• RQ1 기존의 BC와 IRL 프레임워크를 초월하여 현대적 방법론 발전을 반영할 수 있는 체계적인 비례 학습 분류 체계는 어떻게 구성할 수 있는가?
• RQ2 부적합하거나 노이즈가 있는 시범 데이터에서 학습할 때 발생하는 주요 과제는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ3 비례 학습에 자연어나 음성 지시를 얼마나 효과적으로 통합할 수 있으며, 이는 정책 학습 향상과 인간의 애너테이션 부담 감소에 어떤 영향을 미치는가?
• RQ4 정책과 시범 데이터에 대한 더 나은 표현 학습은 비례 학습에서 데이터 효율성과 일반화 능력을 어떻게 향상시킬 수 있는가?
• RQ5 비례 학습 에이전트가 시범자 성능을 초월하고 전역 최적 정책을 찾을 수 있도록 하는 전략은 무엇인가?

주요 결과

• 이 검토는 GAIL 및 그 유도 기법이 기존의 분류 체계를 흐리게 하여, 작업 수준과 방법론적 구조를 기반으로 한 새로운 분류 프레임워크가 필요하다고 규명한다.
• 현재 비례 학습 방법은 고품질의 시범 데이터에 크게 의존하며, 부적합한 시범 데이터는 성능 저하를 야기하지만, 최근 연구는 이러한 데이터에서 공통된 의도를 추출할 수 있다는 잠재력을 보여주고 있다.
• 자기지도 및 대비 학습 방법(예: TCN)은 원시 영상에서 도메인 불변 표현 학습을 향상시켜 다양한 환경 간의 일반화 능력을 향상시킨다.
• 비례 학습에 음성 또는 자연어 지시를 통합하면 정책 학습이 향상되며, 이는 내비게이션 작업에서 입증되었고, 인간 상호작용 비례 학습의 새로운 길을 열어준다.
• 진전이 있음에도 불구하고 대부분의 비례 학습 방법은 국소 최적 해에 수렴한다. 유 등(2020)의 방법처럼 시범자 성능을 초월한 성능을 달성한 사례는 소수에 불과하며, 이는 더 나은 의도 모델링이 필요함을 시사한다.
• 이전 학습과 중요도 샘플링은 표본 효율성 향상과 새로운 작업에 대한 빠른 적응을 가능하게 하는 유망한 최적화 기법이다.