[논문 리뷰] Game-Theoretic Modeling of Driver and Vehicle Interactions for Verification and Validation of Autonomous Vehicle Control Systems

Nan Li, Dave W. Oyler외 4명|arXiv (Cornell University)|2016. 08. 30.

Autonomous Vehicle Technology and Safety참고 문헌 23인용 수 15

한 줄 요약

이 논문은 수준-k 운전자 모델을 사용하여 확장 가능하고 계산적으로 다룰 수 있는 자율주행차 제어 시스템의 검증 및 검사(Verification and Validation, V&V)를 가능하게 하는 게임이론 기반 교통 시뮬레이터를 제안한다. 이는 시뮬레이션 기반 최적화를 통해 제어 정책 간의 정량적 비교와 파라미터 캘리브레이션을 가능하게 하며, 안전성과 성능 측면에서 의사결정 트리 정책이 스택엘베르크 정책보다 뛰어나지만 계산 비용이 더 높다는 것을 입증한다.

ABSTRACT

Autonomous driving has been the subject of increased interest in recent years both in industry and in academia. Serious efforts are being pursued to address legal, technical and logistical problems and make autonomous cars a viable option for everyday transportation. One significant challenge is the time and effort required for the verification and validation of the decision and control algorithms employed in these vehicles to ensure a safe and comfortable driving experience. Hundreds of thousands of miles of driving tests are required to achieve a well calibrated control system that is capable of operating an autonomous vehicle in an uncertain traffic environment where multiple interactions between vehicles and drivers simultaneously occur. Traffic simulators where these interactions can be modeled and represented with reasonable fidelity can help decrease the time and effort necessary for the development of the autonomous driving control algorithms by providing a venue where acceptable initial control calibrations can be achieved quickly and safely before actual road tests. In this paper, we present a game theoretic traffic model that can be used to 1) test and compare various autonomous vehicle decision and control systems and 2) calibrate the parameters of an existing control system. We demonstrate two example case studies, where, in the first case, we test and quantitatively compare two autonomous vehicle control systems in terms of their safety and performance, and, in the second case, we optimize the parameters of an autonomous vehicle control system, utilizing the proposed traffic model and simulation environment.

연구 동기 및 목표

• 복잡하고 불확실한 교통 환경에서 인간-차량 상호작용이 존재하는 자율주행차 제어 시스템의 검증 및 검사 과제를 해결하기 위해.
• 사전 정의된 행동이 아닌 전략적 의사결정 과정으로서 운전자 및 차량 간 상호작용을 모델링하는 확장 가능한 시뮬레이션 프레임워크를 개발하기 위해.
• 시뮬레이션된 교통 환경에서 안전성 및 성능 지표를 사용하여 자율주행 제어 정책 간 객관적인 비교를 가능하게 하기 위해.
• 시뮬레이션 기반 최적화를 통해 자율주행차 제어 시스템의 파라미터 캘리브레이션을 지원하기 위해.
• 실제 상호작용 역학을 반영하는 현실적인 조건에서 자율주행차 의사결정을 시험하는 도전적인 교통 시나리오를 식별하기 위해.

제안 방법

• 시뮬레이터는 각 에이전트가 일정한 인지 수준까지 다른 이의 행동을 예측하는 수준-k 게임이론 프레임워크를 사용하여 운전자와 차량을 전략적 에이전트로 모델링한다.
• 운전자 행동은 경로 계획을 위한 조정 가능한 가중치와 임계값을 갖는 의사결정 트리 기반의 계층적 의사결정 과정을 통해 모델링된다.
• 자율주행차와 인간 운전 차량 간의 리더-팔로워 역학을 모델링하기 위해 스택엘베르크 게임 설정을 사용한다.
• 안전성과 성능은 제약 위반 비율과 평균 주행 속도를 사용하여 평가되며, 최적화를 위해 복합 보상 함수가 사용된다.
• 파라미터 캘리브레이션은 시뮬레이션 기반 최적화를 통해 수행되며, 안전성(제약 위반)과 성능(속도)을 균형 잡는 보상 함수를 사용한다.
• 시뮬레이터는 Java를 사용한 데스크톱 플랫폼에서 실행되며, 실시간 성능은 System.nanoTime()를 통해 측정된다.

실험 결과

연구 질문

• RQ1 어떻게 게임이론 기반의 운전자 행동 모델을 활용하여 자율주행차 테스트를 위한 현실적이고 상호작용 가능한 교통 시나리오를 시뮬레이션할 수 있는가?
• RQ2 스택엘베르크 정책과 의사결정 트리 정책을 포함한 다양한 자율주행차 제어 정책이 시뮬레이션된 혼합 교통 조건 하에서 안전성과 성능 측면에서 어떻게 비교될 수 있는가?
• RQ3 시뮬레이션 기반 최적화가 제어 시스템 파라미터를 효과적으로 캘리브레이션하여 안전성과 성능을 향상시키는 데 기여할 수 있는가?
• RQ4 다양한 제어 정책 구현에서 계산 비용과 성능/안전성 간의 상호 상충 관계는 어떠한가?
• RQ5 의사결정 트리 평가 지표의 가중치가 다양할 경우, 시스템 행동과 결과에 어떤 영향을 미치는가?

주요 결과

• 최적화된 안전성 기반 설정에서 의사결정 트리 정책은 제약 위반 비율 27.5%를 기록하여 스택엘베르크 정책의 31.8%보다 낮아 안전성 성능 향상을 입증했다.
• 의사결정 트리 정책은 평균 주행 속도에서 스택엘베르크 정책을 앞서 성능 측면에서 뛰어난 주행 성능을 보였다.
• 의사결정 트리 정책은 49개의 행동 프로파일을 평가하기 때문에 스택엘베르크 정책보다 높은 계산 비용을 가지나, 시뮬레이터는 여전히 빠르게 작동하여 200초 시뮬레이션 당 평균 실행 시간이 1초 이하로 유지되었다.
• 최적화 결과, 최대 안전성(p1=1, p2=0)을 위한 최적의 파라미터 조합(wl1/wl2 = 2.5, xB = 23)은 원래 설정 대비 제약 위반 비율을 31.8%에서 27.5%로 감소시켰다.
• 보상 함수 최적화 결과, 다양한 가중치 조합(p1, p2)이 서로 다른 최적 파라미터 영역을 이끌어내어 시뮬레이션 기반 캘리브레이션의 유용성을 확인했다.
• 제안된 시뮬레이터는 도전적인 교통 시나리오를 성공적으로 생성하였으며, 자율주행차 제어 시스템의 체계적 평가 및 캘리브레이션을 가능하게 하였다.