[논문 리뷰] Integrated Decision and Control: Towards Interpretable and Computationally Efficient Driving Intelligence

Yang Guan, Yangang Ren외 6명|arXiv (Cornell University)|2021. 03. 18.

Autonomous Vehicle Technology and Safety참고 문헌 34인용 수 4

한 줄 요약

이 논문은 자율주행차를 위한 해석 가능하고 계산적으로 효율적인 프레임워크인 통합 결정 및 제어(Integrated Decision and Control, IDC)를 제안한다. IDC는 주행을 정적 경로 계획과 동적 최적 추적으로 계층적으로 분해한다. 경로 추적 문제를 제약 조건이 있는 최적 제어 문제(Optimal Control Problem, OCP)로 공식화하고, 모델 기반 강화학습 알고리즘을 사용해 오프라인으로 가치 함수 및 정책 함수 네트워크를 학습함으로써, 기존 기준 방법에 비해 수개의 주기 이상 높은 효율성과 뛰어난 안전성 및 교통 효율성을 확보한 실시간 온라인 경로 선택 및 제어를 달성한다.

ABSTRACT

Decision and control are core functionalities of high-level automated vehicles. Current mainstream methods, such as functionality decomposition and end-to-end reinforcement learning (RL), either suffer high time complexity or poor interpretability and adaptability on real-world autonomous driving tasks. In this paper, we present an interpretable and computationally efficient framework called integrated decision and control (IDC) for automated vehicles, which decomposes the driving task into static path planning and dynamic optimal tracking that are structured hierarchically. First, the static path planning generates several candidate paths only considering static traffic elements. Then, the dynamic optimal tracking is designed to track the optimal path while considering the dynamic obstacles. To that end, we formulate a constrained optimal control problem (OCP) for each candidate path, optimize them separately and follow the one with the best tracking performance. To unload the heavy online computation, we propose a model-based reinforcement learning (RL) algorithm that can be served as an approximate constrained OCP solver. Specifically, the OCPs for all paths are considered together to construct a single complete RL problem and then solved offline in the form of value and policy networks, for real-time online path selecting and tracking respectively. We verify our framework in both simulations and the real world. Results show that compared with baseline methods IDC has an order of magnitude higher online computing efficiency, as well as better driving performance including traffic efficiency and safety. In addition, it yields great interpretability and adaptability among different driving tasks. The effectiveness of the proposed method is also demonstrated in real road tests with complicated traffic conditions.

연구 동기 및 목표

• 기존 자율주행차의 결정 및 제어 방법이 가지는 고비용 계산 및 낮은 해석 가능성 등의 한계를 해결하기 위해.
• 다양한 주행 환경에서 해석 가능성, 계산 효율성, 적응 가능성 간의 균형을 이루는 통합 프레임워크를 개발하기 위해.
• 안전성 및 교통 효율성의 높은 성능을 유지하면서도 온라인 계산 부담을 줄이기 위해.
• 인간의 간섭과 센서 노이즈가 존재하는 복잡한 실제 주행 환경에서도 안정적인 실시간 운영을 가능하게 하기 위해.
• 일반화 능력을 보장하는 구조적이고 모듈화된 시스템을 제공하여 다양한 주행 작업과 상황에 대응하기 위해.

제안 방법

• 주행 작업을 정적 장애물만 고려하는 정적 경로 계획과 동적 장애물 및 차량 동역학을 고려하는 동적 최적 추적으로 계층적으로 분해한다.
• 각 후보 경로에 대해 동적 제약 조건 하에서 안전하고 부드러운 추적을 보장하기 위해 제약 조건이 있는 최적 제어 문제(Optimal Control Problem, OCP)를 공식화한다.
• 모든 OCP를 동시에 오프라인으로 해결하기 위해 모델 기반 강화학습(Reinforcement Learning, RL) 알고리즘을 제안하며, 근사 가치 함수 및 정책 함수 네트워크를 학습하여 대체 솔루션으로 활용한다.
• 학습된 가치 함수 및 정책 함수 네트워크를 온라인에서 사용하여 실시간 경로 선택 및 제어를 수행함으로써, 고비용의 온라인 최적화를 피한다.
• 오프라인 학습을 통해 사전에 솔루션을 계산함으로써, 성능을 유지하면서도 온라인 추론 시간을 극적으로 단축시킨다.
• 학습된 가치 함수 및 정책 함수를 직접 결정 및 제어 논리에 매핑함으로써, 의사결정 및 제어 과정의 해석 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 자율주행의 결정 및 제어에서 동시에 높은 계산 효율성, 해석 가능성, 내성적 안정성을 달성할 수 있는 통합 프레임워크를 설계할 수 있는가?
• RQ2 다양한 후보 경로에 대한 제약 조건이 있는 최적 제어 문제를 효율적으로 오프라인으로 해결하면, 실시간 온라인 경로 선택 및 추적을 가능하게 할 수 있는가?
• RQ3 기존 방법에 비해 제안된 모델 기반 강화학습 접근법이 센서 노이즈와 인간의 간섭 상황에서도 얼마나 높은 성능를 유지하는가?
• RQ4 다양한 주행 작업과 상황에 걸쳐도 안전성과 교통 효율성을 유지하면서 일반화 능력을 보장할 수 있는가?
• RQ5 학습된 정책 및 가치 함수의 해석 가능성은 종단간 딥 강화학습 접근법에 비해 어떻게 다른가?

주요 결과

• IDC 프레임워크는 기존 룰 기반 방법 대비 온라인 계산 효율성을 수개의 주기 이상 향상시켜 실시간 계산 부담을 크게 감소시켰다.
• 모의 실험과 실제 교차로 테스트 모두에서 교통 효율성 및 안전성 측면에서 뛰어난 주행 성능을 입증하였다.
• 센서 노이즈가 중간 수준 이하(노이즈 수준 0–3)일 경우에도 강건성을 보였으며, 상태 분산과 경계 값의 증가가 미미하여 안정적인 차량 동역학을 유지하였다.
• 스티어링 휠에 갑작스러운 인간 간섭이 발생하더라도 시스템이 효과적으로 복구되었으며, 제어권 이관 후 빠르게 차량 상태를 복구하고 원래의 조작을 재개하였다.
• 학습된 가치 함수 및 정책 함수 네트워크는 경로 선택 및 제어 조작에 직접 대응하므로 내재된 해석 가능성을 지녔으며, 검은 상자 형태의 종단간 딥 강화학습 모델과는 대조된다.
• 복잡한 실제 교차로에서의 좌회전 조작과 같은 다양한 주행 작업에 걸쳐 뛰어난 적응성을 보였다.