[논문 리뷰] Interpretable Modelling of Driving Behaviors in Interactive Driving Scenarios based on Cumulative Prospect Theory

Liting Sun, Wei Zhan외 2명|arXiv (Cornell University)|2019. 07. 19.

Autonomous Vehicle Technology and Safety참고 문헌 26인용 수 5

한 줄 요약

이 논문은 상호작용 시나리오에서 인간의 운전 행동을 위한 CPT 기반의 해석 가능한 모델을 제안하며, 실제 운전 데이터로부터 유틸리티, 가치, 결정 가중치 함수를 추론하기 위해 계층적 학습 알고리즘을 사용한다. 이 모델은 시간-충돌까지의 시간(TTC) 모델을 능가하고, 신경망 성능과 유사한 성능을 더 적은 데이터로 달성하면서도 손실 회피 및 확률 가중치와 같은 비합리적 행동을 포괄한다.

ABSTRACT

Understanding human driving behavior is important for autonomous vehicles. In this paper, we propose an interpretable human behavior model in interactive driving scenarios based on the cumulative prospect theory (CPT). As a non-expected utility theory, CPT can well explain some systematically biased or ``irrational'' behavior/decisions of human that cannot be explained by the expected utility theory. Hence, the goal of this work is to formulate the human drivers' behavior generation model with CPT so that some ``irrational'' behavior or decisions of human can be better captured and predicted. Towards such a goal, we first develop a CPT-driven decision-making model focusing on driving scenarios with two interacting agents. A hierarchical learning algorithm is proposed afterward to learn the utility function, the value function, and the decision weighting function in the CPT model. A case study for roundabout merging is also provided as verification. With real driving data, the prediction performances of three different models are compared: a predefined model based on time-to-collision (TTC), a learning-based model based on neural networks, and the proposed CPT-based model. The results show that the proposed model outperforms the TTC model and achieves similar performance as the learning-based model with much less training data and better interpretability.

연구 동기 및 목표

• 합리적이며, 동시에 체계적인 편향(비합리적) 운전 결정을 모두 포괄하는 해석 가능한 인간 행동 모델을 개발하는 것.
• 기대 유틸리티 이론(EUT)을 초월하여 누적선점이론(CPT)을 통합함으로써 손실 회피 및 확률 가중치와 같은 행동 편향을 설명하는 유틸리티 기반 모델링을 확장하는 것.
• 역강화학습과 비선형 로지스틱 회귀를 조합한 계층적 학습 프레임워크를 통해 데이터 효율적인 운전자 행동 모델 학습을 가능하게 하는 것.
• 실제 도로에서의 원형 교차로 통과 시나리오 데이터를 활용하여 모델의 예측 정확성과 해석 가능성의 유효성을 검증하는 것.

제안 방법

• 두 에이전트 간 상호작용 운전 시나리오를 위한 CPT 기반의 의사결정 모델을 수립하며, 기대 유틸리티 대신 누적선점이론을 도입하여 제한된 합리성(bounded rationality)을 모델링한다.
• 계층적 학습 알고리즘 개발: 먼저 역강화학습을 사용해 유틸리티 함수를 추정하고, 이후 비선형 로지스틱 회귀를 적용해 가치 함수와 결정 가중치 함수를 학습한다.
• 운전자 선호도를 표현하기 위해 시간-충돌까지의 시간(TTC), 시간-교차점까지의 시간(TTI), 안전 마진을 기반으로 한 유틸리티 함수를 사용한다.
• 모델 평가를 위해 67개의 궤적 쌍에서 2680개의 학습/테스트 프레임을 생성하기 위해 이동 윈도우 슬라이싱 전략을 적용한다.
• 비선형 로지스틱 회귀를 적용해 결정 가중치 함수를 학습하며, 낮은 확률 사건의 과도한 과신과 높은 확률 사건의 과소평가를 포착한다.
• 성공률을 주요 평가 지표로 사용해 성능을 검증하며, 사전 정의된 TTC 모델과 딥 신경망(NN) 기준 모델과 비교한다.

실험 결과

연구 질문

• RQ1 누적선점이론(CPT)은 상호작용 시나리오에서 손실 회피 및 확률 가중치와 같은 비합리적 운전 행동을 효과적으로 모델링할 수 있는가?
• RQ2 예측 정확성과 데이터 효율성 측면에서 CPT 기반 모델은 사전 정의된 TTC 모델과 데이터 소비가 많은 신경망 모델에 비해 어떻게 성능을 내는가?
• RQ3 CPT 모델의 매개변수는 인간의 의사결정 편향 측면에서 의미적으로 해석 가능한가?
• RQ4 계층적 학습 접근법은 실제 운전 데이터로부터 유틸리티, 가치, 결정 가중치 함수를 성공적으로 추론할 수 있는가?

주요 결과

• 제안된 CPT 모델은 실험 2에서 운전자 궤적 예측 성공률 95.45%를 달성하여 TTC 모델(81.82%)을 능가하고 신경망 모델(97%)과 유사한 성능을 보였다.
• 실험 1에서 다양한 궤적 쌍 간의 일반화 성능을 테스트한 결과, CPT 모델은 TTC 모델을 크게 능가했으며, 훨씬 적은 데이터로 신경망 모델과 유사한 성능를 달성했다.
• 학습된 결정 가중치 함수는 낮은 확률 사건을 과도하게 과신하고 높은 확률 사건을 과소평가하는 경향을 보였으며, 행동경제학에서 알려진 핵심 행동 편향을 모델이 잘 포착하고 있음을 확인했다.
• α* = 0.9827 및 γ* = 0.6742와 같은 모델 매개변수는 해석 가능했으며, 손실 회피 및 위험 민감도와 같은 알려진 인간 행동 패턴과 일치했다.
• CPT 모델은 뛰어난 데이터 효율성을 보였다: 67개의 궤적 쌍에서 유도된 2680개의 프레임만으로도 높은 성능를 달성했으며, 신경망 모델은 효과적인 일반화를 위해 더 많은 데이터가 필요했다.
• 계층적 학습 프레임워크는 역강화학습과 비선형 로지스틱 회귀를 성공적으로 융합하여 실제 운전 데이터로부터 CPT 모델의 모든 구성 요소를 학습했다.