[논문 리뷰] Integrated Decision and Control: Towards Interpretable and Efficient Driving Intelligence.

Yang Guan, Yangang Ren외 4명|arXiv (Cornell University)|2021. 03. 18.

Autonomous Vehicle Technology and Safety참고 문헌 33인용 수 5

한 줄 요약

이 논문은 모델 기반 강화학습 접근법을 통해 다중 경로 계획과 최적 추적을 분리함으로써 계층적이고 해석 가능하며 효율적인 자율주행을 위한 决策-제어 프레임워크를 제안한다. 후보 경로에 대해 제약 조건이 있는 최적 제어 문제를 수립하고, 다중 작업 강화학습을 사용해 오프라인으로 이를 해결함으로써 실시간 온라인 경로 선택 및 추적을 가능하게 하였으며, 기존 기준 대비 뛰어난 계산 효율성, 안전성, 교통 효율성을 확보하였다.

ABSTRACT

Decision and control are two of the core functionalities of high-level automated vehicles. Current mainstream methods, such as functionality decomposition or end-to-end reinforcement learning (RL), either suffer high time complexity or poor interpretability and limited safety performance in real-world complex autonomous driving tasks. In this paper, we present an interpretable and efficient decision and control framework for automated vehicles, which decomposes the driving task into multi-path planning and optimal tracking that are structured hierarchically. First, the multi-path planning is to generate several paths only considering static constraints. Then, the optimal tracking is designed to track the optimal path while considering the dynamic obstacles. To that end, in theory, we formulate a constrained optimal control problem (OCP) for each candidate path, optimize them separately and choose the one with the best tracking performance to follow. More importantly, we propose a model-based reinforcement learning (RL) algorithm, which is served as an approximate constrained OCP solver, to unload the heavy computation by the paradigm of offline training and online application. Specifically, the OCPs for all paths are considered together to construct a multi-task RL problem and then solved offline by our algorithm into value and policy networks, for real-time online path selecting and tracking respectively. We verify our framework in both simulation and the real world. Results show that our method has better online computing efficiency and driving performance including traffic efficiency and safety compared with baseline methods. In addition, it yields great interpretability and adaptability among different driving tasks. The real road test also suggests that it is applicable in complicated traffic scenarios without even tuning.

연구 동기 및 목표

• 고산도 계산 복잡도와 낮은 해석 가능성 등의 문제점을 보이는 기존 자율주행 결책 및 제어 방법의 한계를 해결한다.
• 동적 장애물과 정적 제약 조건이 동시에 존재하는 실제 복잡한 주행 환경에서의 안전성과 교통 효율성을 향상시킨다.
• 다양한 주행 작업에 걸쳐 실시간 결책이 가능하고 해석 가능하며 적응력 있는 프레임워크를 개발한다.
• 다중 작업 강화학습 기반의 오프라인 학습을 통해 복잡한 최적화를 오프라인으로 이관함으로써 온라인 계산 부담을 감소시킨다.
• 실제 현장 구현에서 하이퍼파rameter 조정 없이도 견고한 성능을 유지를 보장한다.

제안 방법

• 정적 제약 조건 하에서의 다중 경로 계획과 동적 장애물을 고려한 최적 추적을 포함하는 주행 작업을 두 단계의 계층적 단계로 분해한다.
• 각 후보 경로에 대해 추적 성능를 평가하기 위해 제약 조건이 있는 최적 제어 문제(OCP)를 수립한다.
• OCP의 근사 해답자 역할을 할 수 있는 모델 기반 강화학습 알고리즘을 설계하여, 오프라인에서 가치 및 정책 네트워크를 계산한다.
• 모든 후보 경로의 OCP를 동시에 최적화하는 다중 작업 강화학습 모델을 학습시켜 효율적인 온라인 추론을 위한 공유 표현을 생성한다.
• 학습된 정책 네트워크를 사용해 실시간 경로 선택을 수행하고, 가치 네트워크를 활용해 동적 장애물 회피 기능을 갖춘 온라인 추적 제어를 수행한다.
• 성능 검증과 일반화 능력 검증을 위해 시뮬레이션 및 실제 환경 테스트 모두에 프레임워크를 적용하였으며, 작업 특화 조정 없이도 성능을 확보하였다.

실험 결과

연구 질문

• RQ1 계층적 결책-제어 프레임워크는 복잡한 자율주행 환경에서 계산 효율성과 안전성을 향상시킬 수 있는가?
• RQ2 모델 기반 강화학습과 제약 조건이 있는 최적 제어를 통합함으로써 해석 가능성과 실시간 성능는 어떻게 향상되는가?
• RQ3 단일 학습 모델이 재조정 없이 다양한 주행 작업에 얼마나 넓게 일반화되는가?
• RQ4 교통 효율성과 안전성 지표 측면에서 제안된 방법은 엔드 투 엔드 강화학습 및 기능 분해 접근법보다 뛰어나게 성능을 발휘하는가?
• RQ5 도메인 적응 최소화로도 실제 환경에서 높은 성능을 유지할 수 있는가?

주요 결과

• 다중 작업 강화학습을 통한 OCP의 오프라인 최적화 덕분에 제안된 프레임워크는 기준 대비 뚜렷한 온라인 계산 효율성을 확보하였다.
• 시뮬레이션 및 실제 환경 테스트에서, 엔드 투 엔드 강화학습 및 기능 분해 기준 대비 향상된 교통 효율성과 안전성 성능을 입증하였다.
• 결책이 명시적인 경로 계획과 명확한 최적화 목표를 기반으로 하므로, 프레임워크는 매우 높은 해석 가능성을 보였다.
• 실도로 테스트 결과, 하이퍼파rameter 조정 없이도 복잡한 교통 상황에서의 견고성과 적응력이 확인되었다.
• 모델 기반 강화학습 접근법은 온라인 계산 부담을 효과적으로 감소시키면서도 높은 추적 정확도와 안정성을 유지하였다.
• 다양한 주행 작업 전반에서 동적 장애물을 효과적으로 처리하면서도 안전성과 효율성을 유지하는 데 성공하였다.