[논문 리뷰] OIL: Observational Imitation Learning

Guohao Li, Matthias Mueller외 4명|arXiv (Cornell University)|2018. 03. 03.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 관찰 기반 강화 학습(OIL)을 제안하며, 여러 부정확한 교사의 행동을 관찰하여 온라인 보상 기반 평가를 통해 가장 우수한 기량만 선택적으로 업데이트함으로써 제어 정책을 훈련하는 새로운 이민 학습 프레임워크이다. OIL은 자율 주행 및 UAV 레이싱 작업에서 시뮬레이션 환경에서 모든 개별 교사, 전통적인 IL 및 RL 기준선, 심지어 인간 전문가를 능가한다. 이는 모듈러한 인지-제어 아키텍처와 온라인 궤적 선택 기반의 훈련을 통해 달성된다.

ABSTRACT

Recent work has explored the problem of autonomous navigation by imitating a teacher and learning an end-to-end policy, which directly predicts controls from raw images. However, these approaches tend to be sensitive to mistakes by the teacher and do not scale well to other environments or vehicles. To this end, we propose Observational Imitation Learning (OIL), a novel imitation learning variant that supports online training and automatic selection of optimal behavior by observing multiple imperfect teachers. We apply our proposed methodology to the challenging problems of autonomous driving and UAV racing. For both tasks, we utilize the Sim4CV simulator that enables the generation of large amounts of synthetic training data and also allows for online learning and evaluation. We train a perception network to predict waypoints from raw image data and use OIL to train another network to predict controls from these waypoints. Extensive experiments demonstrate that our trained network outperforms its teachers, conventional imitation learning (IL) and reinforcement learning (RL) baselines and even humans in simulation. The project website is available at https://sites.google.com/kaust.edu.sa/oil/ and a video at https://youtu.be/_rhq8a0qgeg

연구 동기 및 목표

• 고품질 전문가 데이터에 의존하고 교사의 실수에 민감한 기존 이민 학습의 한계를 해결한다.
• 부정확하거나 다양한 교사가 존재하는 복잡한 주행 작업에서 기존 IL 및 RL 방법의 확장성과 내성 문제를 극복한다.
• 인간이 주석을 달지 않은 시각적 관측값만을 사용하고, 교사의 궤적 데이터만을 기반으로 제어 정책을 종단 간 훈련할 수 있도록 한다.
• 인지(웨이포인트 예측)와 제어(액션 예측)를 분리하는 모듈러한 아키텍처를 개발하여 다양한 환경에 대한 적응성을 향상시킨다.
• 훈련 중에 온라인으로 보상 기반으로 최적의 행동을 선택함으로써 교사 및 인간 전문가를 능가하는 성능을 달성한다.

제안 방법

• 교사 궤적에서 이민 학습을 통해 원시 이미지 입력에서 웨이포인트를 예측하는 인지 네트워크를 훈련한다.
• 예측된 웨이포인트와 차량 상태를 기반으로 제어 네트워크가 제어 액션(예: 펌프, 조향, 엣지런)을 출력한다.
• 각 상태에서 교사 행동의 성능을 온라인 보상 평가로 평가하고, 높은 성능을 보인 행동만 정책 업데이트에 사용한다.
• 다양한 교사들로부터 최상의 액션을 집계하는 기울기 기반의 온라인 최적화를 통해 제어 정책을 훈련한다. 열악한 행동은 기각된다.
• 자동차 및 UAV 레이싱 환경에서 고해상도 실시간 훈련과 평가를 가능하게 하기 위해 Sim4CV 시뮬레이터를 활용한다.
• 환경 보상 기준을 사용해 어느 교사 궤적을 정책 업데이트에 사용할지 선택하는 방식으로 강화 학습 개념을 이민 학습에 통합한다.

실험 결과

연구 질문

• RQ1 다수의 부정확한 교사들 중에서 최상의 행동만 선택적으로 학습함으로써, 교사들을 모두 능가하는 정책을 훈련시킬 수 있는가?
• RQ2 기본적인 행동 클로닝 또는 DAGGER와 비교할 때, 온라인 보상 기반 궤적 선택은 이민 학습의 일반화 능력과 내성에 어떤 영향을 미치는가?
• RQ3 인식 또는 제어 네트워크를 재학습하지 않고도 OIL이 다양한 환경과 차량 동역학에 얼마나 잘 일반화되는가?
• RQ4 OIL은 자율 주행 및 UAV 레이싱과 같은 복잡한 주행 작업에서 인간 전문가의 성능을 초월할 수 있는가?
• RQ5 궤적 길이와 교사 수가 학습된 정책의 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• OIL은 자율 주행 및 UAV 레이싱 모두에서 모든 개별 교사보다 뛰어나며, 도로 중심선으로부터 평균 17.6m의 오차를 기록하고 평균 80.7초의 랩 타임을 달성한다.
• 300단계 궤적을 가진 다섯 명의 교사로 훈련된 OIL은 평균 17.6m 오차와 80.7초 랩 타임을 기록했으며, 가장 우수한 교사(15.3m 오차, 80.5초)보다 빠른 속도를 유지하면서도 오차가 더 낮았다.
• 300단계 궤적을 가진 세 명의 교사(1, 3, 4)로 훈련된 OIL는 평균 25.8m 오차를 기록했으며, 교사 수를 늘림으로써 정책의 내성과 오차 감소가 향상됨을 보였다.
• OIL는 UAV 레이싱에서 모든 골을 통과했으며, 인간 전문가보다 평균 3.83초 빠른 속도를 기록했고, 중심선 오차는 전문가의 35.91% 수준으로 감소시켰다.
• OIL는 다양한 궤적 길이와 교사 수에 대해 강건하며, 300단계 궤적과 다섯 명의 교사에서 최적의 성능을 달성했다.
• OIL는 DDPG 및 행동 클로닝을 포함한 최신 IL 및 RL 기준선을 모두 능가했으며, 시뮬레이션 환경에서 숙련된 인간 조종사의 성능과 비교해도 열등하지 않거나 이를 초월하는 성능을 달성했다.