[논문 리뷰] Generic Probabilistic Interactive Situation Recognition and Prediction: From Virtual to Real

Jiachen Li, Hengbo Ma외 2명|arXiv (Cornell University)|2018. 09. 09.

Autonomous Vehicle Technology and Safety참고 문헌 20인용 수 4

한 줄 요약

이 논문은 고속도로 램프 합류와 같은 복잡한 시나리오에서 정확하고 장기적인 공동 궤적 예측을 달성하면서 데이터 및 계산 자원을 줄이며, 시뮬레이션에서 실세계 데이터로의 강건한 전이 학습을 가능하게 하는 일반적이고 확률적인 계층적 프레임워크를 제안한다. 이는 두 층의 은닉 마르코프 모델(TLHMM)을 사용하여 공동 에이전트 행동을 모델링하고, 장면 진화를 위해 혼합 정규분포 모델(GMM)을 사용한다.

ABSTRACT

Accurate and robust recognition and prediction of traffic situation plays an important role in autonomous driving, which is a prerequisite for risk assessment and effective decision making. Although there exist a lot of works dealing with modeling driver behavior of a single object, it remains a challenge to make predictions for multiple highly interactive agents that react to each other simultaneously. In this work, we propose a generic probabilistic hierarchical recognition and prediction framework which employs a two-layer Hidden Markov Model (TLHMM) to obtain the distribution of potential situations and a learning-based dynamic scene evolution model to sample a group of future trajectories. Instead of predicting motions of a single entity, we propose to get the joint distribution by modeling multiple interactive agents as a whole system. Moreover, due to the decoupling property of the layered structure, our model is suitable for knowledge transfer from simulation to real world applications as well as among different traffic scenarios, which can reduce the computational efforts of training and the demand for a large data amount. A case study of highway ramp merging scenario is demonstrated to verify the effectiveness and accuracy of the proposed framework.

연구 동기 및 목표

• 다른 에이전트들이 상호 작용하는 다수의 에이전트가 관여하는 고도로 상호작용적인 교통 시나리오에서의 공동 행동 예측 과제를 해결한다.
• 단일 에이전트 예측 모델의 한계를 극복하기 위해 상호작용을 시스템 수준의 동적 과정으로 모델링한다.
• 대규모 실세계 데이터셋에 대한 의존도를 줄이기 위해 시뮬레이션에서 실세계 응용으로의 지식 전이를 가능하게 한다.
• 동적 교통 환경에서 인간과 유사한 복잡한 상호작용 패턴을 포착하는 강건하고 불확실성 인식 프레임워크를 개발한다.

제안 방법

• 첫 번째 층이 상호작용 패턴을 캐치하고 두 번째 층이 장면 역학을 모델링하는 두 층의 은닉 마르코프 모델(TLHMM)을 사용하여 고수준 상황 상태와 그 진화를 모델링한다.
• 계층적 HMM 아키텍처를 통해 고수준 상황 인식과 저수준 운동 예측을 분리함으로써 다양한 시나리오와 도메인 간 전이 학습을 가능하게 한다.
• 합성 주행 시뮬레이터에서 생성한 데이터에 대해 TLHMM를 훈련하기 위해 기대값 최대화(EM) 알고리즘을 적용한 후, 실세계 NGSIM 데이터로의 피니팅을 수행한다.
• recognized situation state를 기반으로 다양한 확률적 향후 궤적을 생성하기 위해 혼합 정규분포 모델(GMM)을 사용하여 공동 에이전트 운동의 불확실성을 포착한다.
• 원시 관측치에서 유도된 메타 특징을 통합하여 센서 노이즈에 대한 강건성을 향상시키고 원시 특징의 변동성에 민감도를 감소시킨다.
• 특히 밀도가 높은 교통 조건에서 실세계 적응을 위해 주요 차량의 상태(위치 및 속도)를 특징 시퀀스에 통합한다.

실험 결과

연구 질문

• RQ1 복잡한 시나리오에서 다수의 교통 에이전트 간의 공동 상호작용 상황을 효과적으로 인식하고 예측할 수 있는 계층적 HMM 프레임워크는 얼마나 유능한가?
• RQ2 예측 정확도와 계산 효율성 측면에서 제안된 TLHMM 모델은 시뮬레이션 데이터에서 실세계 주행 데이터로의 일반화 능력이 어느 정도인가?
• RQ3 전이 학습이 대규모 실세계 훈련 데이터의 필요성을 얼마나 줄일 수 있으며, 예측 성능를 유지하는가?
• RQ4 표준 HMM 및 QDA 기준선 대비 관측 노이즈와 특징 변동성에 대한 모델의 강건성은 어떻게 비교되는가?
• RQ5 이 프레임워크는 실세계 시나리오에서 실제 데이터와 일치하는 정확하고 장기적인 공동 궤적 분포를 생성할 수 있는가?

주요 결과

• 표준 HMM 및 QDA보다 TLHMM 기반 모델이 더 이르고 더 안정적으로 진짜 상호작용 결과를 인식하여 노이즈와 특징 변동성에 대한 우월한 강건성을 입증했다.
• 실제 궤적의 평균이 예측된 GMM 분포의 중심 근처에 위치한 점유도 히트맵을 통해 장기적인 정확한 궤적 예측을 달성했다.
• 사전 훈련된 두 번째 층 HMM을 실세계 NGSIM 데이터로 피니팅하는 데 평균 35회 EM 반복이 필요했으며, 초기부터 훈련하는 경우 112회에 비해 계산 비용을 크게 감소시켰다.
• 피니팅을 통한 전이 모델이 초깃값 훈련 모델과 유사한 성능을 달성하여 시뮬레이션에서 실세계 응용으로의 지식 전이의 효과성을 검증했다.
• 계층적 구조 덕분에 상황 인식과 운동 예측 간 효과적인 분리가 가능해져 모델의 해석 가능성과 다양한 교통 시나리오에 대한 적응성 향상에 기여했다.