[논문 리뷰] A Survey on Autonomous Vehicle Control in the Era of Mixed-Autonomy: From Physics-Based to AI-Guided Driving Policy Learning

Xuan Di, Rongye Shi|arXiv (Cornell University)|2020. 07. 10.

Traffic control and management참고 문헌 244인용 수 18

한 줄 요약

이 종합 검토는 인간 운전 차량(HVs)과 자율주행차(AVs)가 공존하는 혼합 교통 환경에서 자율주행차(AV) 제어를 위한 인공지능(AI) 가이드된 접근법—특히 딥 강화학습, 모방학습, 게임 이론—을 소개한다. 본 논문은 네 단계로 구성된 구현 프레임워크를 제안하고 이질적인 행동과 상호작용을 모델링하는 데 있어 핵심 과제를 밝히며 실제 혼합 자율성 생태계에서 확장 가능하고 안전하며 윤리적인 AV 시스템으로 향하는 길을 제시한다.

ABSTRACT

This paper serves as an introduction and overview of the potentially useful models and methodologies from artificial intelligence (AI) into the field of transportation engineering for autonomous vehicle (AV) control in the era of mixed autonomy. We will discuss state-of-the-art applications of AI-guided methods, identify opportunities and obstacles, raise open questions, and help suggest the building blocks and areas where AI could play a role in mixed autonomy. We divide the stage of autonomous vehicle (AV) deployment into four phases: the pure HVs, the HV-dominated, the AVdominated, and the pure AVs. This paper is primarily focused on the latter three phases. It is the first-of-its-kind survey paper to comprehensively review literature in both transportation engineering and AI for mixed traffic modeling. Models used for each phase are summarized, encompassing game theory, deep (reinforcement) learning, and imitation learning. While reviewing the methodologies, we primarily focus on the following research questions: (1) What scalable driving policies are to control a large number of AVs in mixed traffic comprised of human drivers and uncontrollable AVs? (2) How do we estimate human driver behaviors? (3) How should the driving behavior of uncontrollable AVs be modeled in the environment? (4) How are the interactions between human drivers and autonomous vehicles characterized? Hopefully this paper will not only inspire our transportation community to rethink the conventional models that are developed in the data-shortage era, but also reach out to other disciplines, in particular robotics and machine learning, to join forces towards creating a safe and efficient mixed traffic ecosystem.

연구 동기 및 목표

• 자율주행차(AVs)와 인간 운전 차량(HVs)이 공존하는 혼합 교통 환경을 모델링하는 데 있어 핵심적인 격차를 해소하기 위해, 특히 전이 단계 동안의 혼합 자율성 환경을 다루는 것.
• 데이터가 부족한 환경에서 전통적인 물리 기반 모델의 한계를 극복하기 위해 딥 강화학습과 모방학습과 같은 AI 기반 접근법을 통합하는 것.
• 다양한 인간 운전자와 AV가 포함된 대규모 혼합 교통 환경에서의 대규모 AV 배포를 위한 확장 가능한 주행 정책을 개발하는 것.
• 인간 운전자와 AV 간의 상호작용을 특성화하기 위해 행동 추정 및 제어 불가능한 AV의 모델링을 수행하는 것.
• 사회과학 및 법학과의 다학제적 통합을 통해 윤리적, 책임감 있고 공정한 AV 의사결정을 발전시키는 것.

제안 방법

• AV의 구현을 네 단계로 분류: 순수 HV, HV 지배, AV 지배, 순수 AV로, 혼합 자율성 과제에 초점을 맞춰 후삼 단계를 중심으로 다룸.
• 혼합 교통 환경에서 AV와 인간 운전자 간의 전략적 상호작용을 분석하기 위해 게임 이론 모델을 적용함.
• 대규모 교통 데이터로부터 최적의 주행 정책을 학습하기 위해 딥 강화학습(DRL)과 역강화학습(IRL)을 활용함.
• 제안된 주행 경로를 기반으로 인간 주행 행동을 모델링하기 위해 모방학습(IL)을 활용하여 샘플 편향을 줄임.
• 고전적 교통 모델(미세, 중간, 거시 수준)에서의 사전 지식을 통합하여 AI 기반 정책의 일반화 능력을 제약하고 향상시킴.
• 미세 수준의 AV 행동과 거시 수준의 교통 시스템 성능 간의 연결을 위한 다중 척도 모델링 프레임워크를 제안함.

실험 결과

연구 질문

• RQ1 다양한 인간 운전자와 제어 불가능한 AV가 포함된 혼합 교통 환경에서 대규모 AV를 효과적으로 제어할 수 있는 확장 가능한 주행 정책는 무엇인가?
• RQ2 다양한 주행 조건과 이질적인 위험 프로파일을 고려할 때 인간 운전자 행동을 정확하게 추정하고 모델링할 수 있는가?
• RQ3 제어 불가능한 AV의 주행 행동은 혼합 교통 시뮬레이션 및 제어 프레임워크에서 어떻게 표현되어야 하는가?
• RQ4 특히 안전성, 효율성 및 급격히 나타나는 교통 역학적 특성 측면에서 인간 운전자와 AV 간의 복잡한 상호작용은 어떻게 특성화될 수 있는가?
• RQ5 AI 가이드된 AV 제어 시스템은 사회적 가치와 윤리적으로 조율되고 책임감 있고 공정하게 유지될 수 있는가?

주요 결과

• 딥 강화학습과 모방학습과 같은 AI 가이드된 방법은 혼합 교통 환경에서 확장 가능하고 적응 가능한 주행 정책을 학습하는 데 강력한 잠재력을 보여준다.
• 역강화학습(IRL)은 작은 데이터셋에서도 뛰어난 강건성을 보이며 인간 행동 모델링에서 데이터 부족과 샘플 편향 문제에 대한 유망한 해결책을 제공한다.
• 기존의 물리 기반 모델은 AI 기반 정책의 일반화 능력을 제약하고 향상시키는 데 있어 귀중한 사전 지식를 제공한다.
• HV 지배 및 AV 지배 단계는 인간 차량과 자율주행차 간의 예측 불가능하고 이질적인 상호작용으로 인해 가장 높은 모델링 복잡도를 보인다.
• 현장 실험 설계에 대한 연구는 여전히 탐색 부족하며, 훈련 및 테스트 데이터 선택 방식이 모델 예측 성능과 내성에 미치는 영향에 대해 큰 불확실성이 존재한다.
• 윤리적, 책임감 있고 공정한 AV 의사결정은 여전히 열려 있는 과제이며, 공학, 법학, 사회과학 분야 간의 다학제적 협력이 필요하다.