[논문 리뷰] ChauffeurNet: Learning to Drive by Imitating the Best and Synthesizing the Worst

Mayank Bansal, Alex Krizhevsky외 1명|arXiv (Cornell University)|2018. 12. 07.

Autonomous Vehicle Technology and Safety인용 수 106

한 줄 요약

본 논문은 ChauffeurNet을 제시한다. 이는 자율주행을 위한 중간 수준의 모방 학습 접근법으로, 전문가 데이터를 교란된 궤적과 환경 중심 손실로 보강하여 폐루프 강건성을 달성하고 실제 환경에서의 배포를 포함한다.

ABSTRACT

Our goal is to train a policy for autonomous driving via imitation learning that is robust enough to drive a real vehicle. We find that standard behavior cloning is insufficient for handling complex driving scenarios, even when we leverage a perception system for preprocessing the input and a controller for executing the output on the car: 30 million examples are still not enough. We propose exposing the learner to synthesized data in the form of perturbations to the expert's driving, which creates interesting situations such as collisions and/or going off the road. Rather than purely imitating all data, we augment the imitation loss with additional losses that penalize undesirable events and encourage progress -- the perturbations then provide an important signal for these losses and lead to robustness of the learned model. We show that the ChauffeurNet model can handle complex situations in simulation, and present ablation experiments that emphasize the importance of each of our proposed changes and show that the model is responding to the appropriate causal factors. Finally, we demonstrate the model driving a car in the real world.

연구 동기 및 목표

• 중간 수준의 입력/출력을 가진 순수 행동 복제(behavior cloning)가 복잡한 시나리오에서 강건한 자율주행에 불충분하다는 것을 입증한다.
• 합성된 궤적 교란을 통한 데이터 증강을 도입하여 모델이 비전문가 동작(예: 충돌, 차선 이탈) 등에 노출되도록 하고 안전성을 향상시킨다.
• 모방 손실과 환경 손실을 결합한 다중 손실 트레이닝 프레임워크를 제안하여 폐루프 주행에서의 강건한 행동을 유도한다.
• 중간 수준 표현 파이프라인이 시뮬레이션에서 작동하고 실제 차량 테스트로 전이되는 주행 정책을 학습시킬 수 있음을 보인다.

제안 방법

• 도로 지도, 신호등, 제한속도, 경로, 동적 물체 등 중간 수준의 탑다운 표현을 ChauffeurNet의 입력으로 사용한다.
• 메모리 기능이 있는 AgentRNN을 사용하여 미래의 웨이포인트를 반복적으로 예측하고 픽셀당 에이전트 바운딩 박스 열지도(heatmap)를 만든다.
• 공유 특징을 사용하여 주행 가능 영역과 다른 에이전트의 미래 위치를 예측하기 위해 Road Mask Network와 PerceptionRNN을 공동 학습한다.
• 모방 손실(위치, 방향, 박스, 서브 픽셀 정밀도, 속도)과 환경 손실(충돌, 차선 내 주행 여부, 기하학, 물체 예측, 도로 마스크)을 조합하여 학습한다.
• 과거 모션 드롭아웃을 도입하여 과거 이력에서의 속임수를 방지하고, 어려운 교란된 학습 예시를 만들기 위한 궤적 교란을 도입한다.
• 일반적인 손실 가중치보다 강건성을 높이기 위해 모방 드롭아웃(모방 손실을 무작위로 0으로 하는 것)을 적용한다.

실험 결과

연구 질문

• RQ1 중간 수준 표현을 이용한 순수 모방 학습이 폐루프 설정에서 강건한 주행 성능에 도달할 수 있는가?
• RQ2 교란된 궤적과 환경 중심 손실을 포함한 모방 학습 보강이 복잡한 주행 시나리오에서 안전성과 강건성을 향상시키는가?
• RQ3 과거 모션 드롭아웃, 궤적 교란, 모방 드롭아웃이 학습 및 일반화에 어떤 영향을 미치는가?
• RQ4 중간 수준의 인지/제어 분해가 시뮬레이션/학습 데이터에서 실제 차량 운용으로 전이될 수 있는가?

주요 결과

• 30 million logged examples로도 순수 모방 학습은 폐루프 주행에서의 강건성에 충분하지 않다.
• 교란된 전문가 궤적을 도입하고 환경 손실을 포함시키면 도전적인 시나리오(예: 주차된 차량 주위를 근접하게 주행, 차선 이탈에서의 회복)에 대한 핸들링이 크게 개선된다.
• 모방 드롭아웃은 단순한 손실 재가중보다 우수한 안전성과 강건성을 보이며 제거 테스트에서 더 나은 성능을 보인다.
• 교란과 환경 손실로 학습된 모델은 실제 환경에서 주행하고 방향 전환, 정지 및 신호등을 다루는 능력을 보인다.
• 시스템은 중간 수준의 표현과 궤적 기반 제어기를 사용하여 시뮬레이션에서 폐루프 테스트를 먼저 수행한 뒤 실제 배포가 가능하다.