[논문 리뷰] Deep Representation Learning and Clustering of Traffic Scenarios

Nick Harmening, Marin Biloš외 1명|arXiv (Cornell University)|2020. 07. 15.

Human Pose and Action Recognition참고 문헌 8인용 수 15

한 줄 요약

이 논문은 원시 궤도 데이터에서 교통 시나리오의 분리된 잠재 표현을 학습하는 두 가지 딥 오토인코더 모델—공간-시간 오토인코더와 순차적 딥 세트 예측 네트워크—을 제안한다. 3D 컨볼루션 네트워크와 순열 불변 RNN을 활용하여 모델들은 공간-시간 역학을 포착하고, 비지도 군집화 및 유사도 검색을 가능하게 하며, 실제 고속도로 데이터셋(세 가지 의미적 시나리오 클래스)에서 V-측정값 0.77 ± 0.17를 달성한다.

ABSTRACT

Determining the traffic scenario space is a major challenge for the homologation and coverage assessment of automated driving functions. In contrast to current approaches that are mainly scenario-based and rely on expert knowledge, we introduce two data driven autoencoding models that learn a latent representation of traffic scenes. First is a CNN based spatio-temporal model that autoencodes a grid of traffic participants' positions. Secondly, we develop a pure temporal RNN based model that auto-encodes a sequence of sets. To handle the unordered set data, we had to incorporate the permutation invariance property. Finally, we show how the latent scenario embeddings can be used for clustering traffic scenarios and similarity retrieval.

연구 동기 및 목표

• 전문가가 정의한 카탈로그를 초월하여 의미 있는 잠재 표현을 학습하는 데이터 기반 비지도 방법을 개발하기 위해.
• 다중 에이전트 교통 환경에서 집합 크기의 변동성, 순열 불변성, 시간적 순서 모델링의 과제를 해결하기 위해.
• 맞춤형 유사도 함수 없이도 학습된 잠재 임베딩을 사용하여 시나리오 군집화 및 유사도 검색을 가능하게 하기 위해.
• 자동으로 생성된 시나리오 레이블을 사용하여 학습된 표현의 의미적 일관성을 평가하기 위해.

제안 방법

• 시간을 추가 차원으로 포함한 3D 스택드 속도 격자 표현을 사용하여 공간-시간 교통 시나리오를 인코딩한다.
• 3D 컨볼루션 네트워크 기반 오토인코더(Spatio-Temporal AE)를 적용하여 격자 표현을 재구성함으로써 압축된 잠재 공간을 학습한다.
• 순서가 없는 궤도 집합을 모델링하기 위해 순열 불변 RNN을 사용한 순차적 딥 세트 예측 네트워크(SEQDSPN)를 개발한다.
• 변동하는 입력 크기를 고려하여 재구성 성능을 향상시키기 위해 SEQDSPN에 학습 가능한 마스크 헤드를 통합한다.
• 학습된 잠재 공간의 품질을 평가하기 위해 주성분 분석(PCA)을 사용하여 시각화하고, 계층적 군집화를 수행한다.
• 맞춤형 거리 메트릭스를 피하기 위해 잠재 공간 내 유클리드 거리를 사용하여 유사도 검색을 수행한다.

실험 결과

연구 질문

• RQ1 딥 오토인코더는 원시 궤도 데이터에서 복잡한 교통 시나리오의 의미 있는 분리된 표현을 학습할 수 있는가?
• RQ2 학습된 잠재 공간은 의미적으로 다른 교통 시나리오 군집화를 얼마나 잘 지원하는가?
• RQ3 의미 기반 거리 함수에 의존하지 않고도 잠재 공간이 효과적인 유사도 검색을 가능하게 하는가?
• RQ4 표현은 클래스 불균형과 다양한 시나리오 복잡성에 대해 얼마나 강건한가?
• RQ5 실제 고속도로 데이터에서 다양한 교통 시나리오에 대해 모델의 일반화 능력은 어느 정도인가?

주요 결과

• 공간-시간 오토인코더는 Overtaking, Being Overtaken, Dense Traffic, Almost Empty 시나리오에 해당하는 군집으로 의미적으로 분리된 잠재 공간을 학습한다.
• SEQDSPN은 자동으로 생성된 레이블을 사용한 3클래스 시나리오 군집화 작업에서 V-측정값 0.77 ± 0.17를 달성한다.
• 잠재 공간은 강한 매끄러움을 보이며, 잠재 공간 내 가장 가까운 이웃은 의미적으로 유사한 시나리오이다.
• 잠재 공간 내 유클리드 거리는 맞춤형 유사도 함수 없이도 효과적인 유사도 검색을 가능하게 한다.
• 아키텍처의 차이에도 불구하고 두 모델이 유사한 성능을 보이며, 표현 선택에 대해 강건함을 보인다.
• 결과의 높은 분산은 소수의 클래스(예: '자신이 추월당하고 있는 경우', 9%)에 기인한 클래스 불균형 때문인 것으로 기인된다.