[논문 리뷰] Probabilistic Prediction of Interactive Driving Behavior via Hierarchical Inverse Reinforcement Learning

Liting Sun, Wei Zhan외 1명|arXiv (Cornell University)|2018. 09. 09.

Autonomous Vehicle Technology and Safety참고 문헌 21인용 수 9

한 줄 요약

이 논문은 인간 주행 행동의 확률적이고 상호작용을 고려한 예측을 위한 계층적 역강화학습(IRL) 프레임워크를 제안한다. 운전자 결정을 이산적(예: 양보/통과) 및 연속적(예: 궤적) 행동의 계층으로 모델링함으로써, 시연 데이터에서 보상 함수를 학습하여 자동차의 향후 계획에 조건화된 확률 분포의 혼합으로 미래 궤적을 예측한다. 이는 HMM 및 신경망 기반 기준 모델 대비 램프 융합 시나리오에서 뛰어난 정확도를 달성한다.

ABSTRACT

Autonomous vehicles (AVs) are on the road. To safely and efficiently interact with other road participants, AVs have to accurately predict the behavior of surrounding vehicles and plan accordingly. Such prediction should be probabilistic, to address the uncertainties in human behavior. Such prediction should also be interactive, since the distribution over all possible trajectories of the predicted vehicle depends not only on historical information, but also on future plans of other vehicles that interact with it. To achieve such interaction-aware predictions, we propose a probabilistic prediction approach based on hierarchical inverse reinforcement learning (IRL). First, we explicitly consider the hierarchical trajectory-generation process of human drivers involving both discrete and continuous driving decisions. Based on this, the distribution over all future trajectories of the predicted vehicle is formulated as a mixture of distributions partitioned by the discrete decisions. Then we apply IRL hierarchically to learn the distributions from real human demonstrations. A case study for the ramp-merging driving scenario is provided. The quantitative results show that the proposed approach can accurately predict both the discrete driving decisions such as yield or pass as well as the continuous trajectories.

연구 동기 및 목표

• 자율주행에서 인간 운전자의 다른 차량의 향후 행동을 예측하지 못하는 결정론적이고 비상호작용 예측 모델의 한계를 해결하기 위해.
• 운전자 의사결정의 계층적 과정을 모델링하여, 이산적 상호작용 결과(예: 양보 또는 통과)와 연속적 궤적 생성을 분리하기 위해.
• 과거 상태와 자동차의 향후 계획에 조건화된 미래 궤적 분포를 기반으로 하는 확률적 예측 프레임워크를 개발하여, 상호작용을 고려한 행동 모델링을 가능하게 하기 위해.
• 람프 융합과 같은 상호작용이 있는 주행 시나리오에서 이산적 주행 결정과 연속적 궤적 예측의 정확도를 향상시키기 위해.
• 실제 주행 데이터 기반으로 HMM 및 신경망 기반 기준 모델과의 정량적 비교를 통해 방법의 효과성을 검증하기 위해.

제안 방법

• 이 방법은 인간 주행 행동을 계층적 과정으로 모델링한다: 이산적 결정(예: 양보/통과)이 게임이론적 결과를 정의하고, 연속적 결정이 부드럽고 동적인 궤적을 형성한다.
• 미래 궤적의 분포를 다양한 이산적 결정 결과에 대응하는 확률 분포의 혼합으로 설정한다.
• 인간 시연 데이터로부터 보상 함수를 추론하기 위해 계층적 역강화학습을 적용하여, 이산적 및 연속적 비용 함수를 동시에 학습한다.
• 연속적 궤적 예측은 학습된 비용 함수를 사용한 유한한 수평선 모델 예측 제어(MPC)를 통해 생성되며, 이는 동적 타당성과 부드러움을 보장한다.
• 예측 모델은 자동차의 향후 계획에 조건화되어 있어, 인간 운전자가 타 차량의 행동을 예측하는 방식을 반영한 상호작용 인식 예측이 가능하다.
• 다중 구성 요소 평가 지표(B_c = G + C + D)를 사용하여 예측 품질을 평가하며, 각 구성 요소는 일반성, 보수성, 비방어성 정도를 측정한다.

실험 결과

연구 질문

• RQ1 계층적 IRL 프레임워크는 상호작용이 있는 주행 시나리오에서 이산적 주행 결정(예: 양보 또는 통과)과 연속적 궤적을 정확하게 예측할 수 있는가?
• RQ2 자신의 자동차 향후 계획에 조건화된 예측은 과거 기록만을 고려한 모델 대비 정확도를 어떻게 향상시키는가?
• RQ3 제안된 방법은 HMM 및 신경망과 같은 비상호작용 기준 모델에 비해 상호작용을 고려한 행동 예측에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 분포 혼합 형식은 인간 주행 행동의 불확실성과 다양성을 얼마나 잘 포착하는가?
• RQ5 시연 데이터로부터 학습된 보상 함수는 램프 융합과 같은 복잡한 시나리오에서 실제 궤적과 유사한 예측 궤적을 생성할 수 있는가?

주요 결과

• 제안된 계층적 IRL 방법은 B_c 지표에서 전체적으로 가장 낮은 점수(0.2053)를 기록하여 HMM(0.2551) 및 신경망(0.2361) 기준 모델을 압도적으로 앞섰다.
• 보수성(0.0178 점수)과 비방어성(0.0698 점수)이 크게 감소하여, 더 현실적이고 비판적인 운동 패tern을 반영함을 시사했다.
• 20개의 테스트 궤적을 기준으로 연속적 궤적 예측의 평균 유클리드 거리(MED)는 0.6172미터이며, 표준편차는 0.2473미터였다.
• 모든 세 가지 램프 융합 사례에서 예측된 가장 가능성 높은 궤적이 실제 궤적과 밀도 있게 일치하여, 강력한 시각적 및 정량적 일치를 보였다.
• 자신의 자동차 계획이 인간 운전자 행동에 미치는 영향을 성공적으로 포착하여, 실제 주행 역학을 반영한 상호작용 인식 예측이 가능했다.
• 계층적 IRL 프레임워크는 인간 시연 데이터로부터 이산적 의사결정 정책과 연속적 궤적 비용 함수를 효과적으로 학습하여 정확하고 확률적인 행동 모델링이 가능했다.