[논문 리뷰] A Fast Integrated Planning and Control Framework for Autonomous Driving via Imitation Learning

Liting Sun, Cheng Peng외 2명|arXiv (Cornell University)|2017. 07. 09.

Advanced Control Systems Optimization인용 수 9

한 줄 요약

이 논문은 사전 학습된 제어 기반 최적화와 복제 학습을 조합한 이중 계층 계층적 프레임워크를 제안하여 빠르고 안전하며 매끄러운 자율 주행을 가능하게 한다. 정책 계층에서 경량 신경망이 장기 예측 제어(MPC)를 모방하여 고품질의 경로를 생성하고, 단기 예측 최적화 계층이 실시간 실행 가능성과 안전성을 보장하며, 온라인 DAgger 개선을 통해 성능을 반복적으로 향상시킨다.

ABSTRACT

For safe and efficient planning and control in autonomous driving, we need a driving policy which can achieve desirable driving quality in long-term horizon with guaranteed safety and feasibility. Optimization-based approaches, such as Model Predictive Control (MPC), can provide such optimal policies, but their computational complexity is generally unacceptable for real-time implementation. To address this problem, we propose a fast integrated planning and control framework that combines learning- and optimization-based approaches in a two-layer hierarchical structure. The first layer, defined as the "policy layer", is established by a neural network which learns the long-term optimal driving policy generated by MPC. The second layer, called the "execution layer", is a short-term optimization-based controller that tracks the reference trajecotries given by the "policy layer" with guaranteed short-term safety and feasibility. Moreover, with efficient and highly-representative features, a small-size neural network is sufficient in the "policy layer" to handle many complicated driving scenarios. This renders online imitation learning with Dataset Aggregation (DAgger) so that the performance of the "policy layer" can be improved rapidly and continuously online. Several exampled driving scenarios are demonstrated to verify the effectiveness and efficiency of the proposed framework.

연구 동기 및 목표

• 실시간 자율 주행에서 장기 예측 제어(MPC)의 계산 비가용성 문제를 해결하기 위해.
• 장기 MPC의 품질을 유지하면서도 실시간 실행이 가능한 빠르고 안전하며 매끄러운 계획 및 제어 프레임워크를 개발하기 위해.
• 사용자 지정된 DAgger 절차를 활용한 온라인 복제 학습을 통해 정책의 정확도를 지속적으로 향상시키기 위해.
• 가상의 특징을 활용하여 복잡한 시나리오, 예를 들어 추월, 차량 따라가기, 직진 주행 등으로의 일반화를 가능하게 하기 위해.

제안 방법

• 이중 계층 계층적 아키텍처를 사용한다: 작은 신경망을 갖춘 정책 계층이 장기 MPC 행동을 모방하고, 실행 계층은 단기 예측 최적화를 통해 실시간 추적을 수행한다.
• 다양한 주행 시나리오에 걸쳐 일반화할 수 있도록 매우 대표적인 특징들을 선별한다.
• 샘플링된 DAgger를 통한 온라인 복제 학습을 적용한다: 정책은 실제 시나리오에서 테스트되며, 실패 사례는 전문가 MPC에 의해 레이블링되어 반복적으로 학습 데이터셋을 확장한다.
• 가상의 특징—예를 들어 가상의 경계선과 가상의 인접 차선 차량—을 도입하여 정책이 다중 차선 및 차량 따라가기 시나리오로 일반화되도록 한다.
• 누적된 데이터를 사용해 정책 계층을 반복적으로 재학습함으로써 정확도와 예측되지 않은 상황에 대한 강건성을 향상시킨다.
• 실행 계층은 각 시간 단계에서 제약 조건이 있는 최적화 문제를 해결하여 기준 경로를 추적하면서도 단기적 안전성과 실행 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 학습된 정책이 실시간 실행이 가능하면서도 장기 최적 및 안전 주행 행동을 MPC처럼 모방할 수 있는가?
• RQ2 작은 계산 비용으로 다양한 주행 시나리오에서 높은 성능을 달성할 수 있는 경량 신경망은 어떻게 달성할 수 있는가?
• RQ3 온라인 DAgger 기반 개선이 복잡하거나 드문 시나리오에서 정책의 강건성과 일반화 능력을 크게 향상시킬 수 있는가?
• RQ4 가상의 특징을 어떻게 활용하여 명시적인 시범 데이터 없이도 정책의 적용 범위를 다중 차선 주행 및 차량 따라가기로 확장할 수 있는가?

주요 결과

• 제안된 프레임워크는 가속 및 회전을 조기에 시작함으로써 매끄럽고 안전한 추월 동작을 수행하며, 급격한 브레이킹과 경계선 충돌을 피한다.
• 단기 예측 MPC만을 사용한 경우와 비교해, 프레임워크는 큰 조향 각도와 반복적인 정지와 같은 과도한 동작을 줄여 주행 품질을 크게 향상시킨다.
• 사용자 지정된 DAgger 절차는 정책 성능 향상에 효과적으로 기여한다: 반복적인 개선을 거쳐, 초기에는 데이터 부족으로 잘못 분류되었던 시나리오에서도 직진 주행을 성공적으로 완료한다.
• 가상의 인접 차선 차량과 가상의 경계선 등의 가상 특징을 활용해 학습된 정책은 차량 따라가기 및 다중 차선 주행과 같은 복잡한 시나리오로 잘 일반화된다.
• 소규모 신경망을 사용함으로써 실시간 성능를 유지하면서도 장기 예측 MPC의 안전성과 최적성 특성을 그대로 유지한다.