[논문 리뷰] Scenario-Transferable Semantic Graph Reasoning for Interaction-Aware Probabilistic Prediction

Yeping Hu, Wei Zhan외 1명|arXiv (Cornell University)|2020. 04. 07.

Autonomous Vehicle Technology and Safety참고 문헌 59인용 수 17

한 줄 요약

이 논문은 자율주행에서 상호작용 인식 확률 예측을 위한 시나리오 이식 가능한 의미 그래프 추론 프레임워크를 제안한다. 도메인 지식과 의미 정보를 활용해 일반적이고 도메인 불변인 환경 표현을 생성하고 이를 시공간 의미 그래프로 모델링함으로써, 재학습 없이 다양한 주행 시나리오 간 강력한 제로샷 이식성을 확보하면서 최신 기술 수준의 예측 성능을 달성한다.

ABSTRACT

Accurately predicting the possible behaviors of traffic participants is an essential capability for autonomous vehicles. Since autonomous vehicles need to navigate in dynamically changing environments, they are expected to make accurate predictions regardless of where they are and what driving circumstances they encountered. Several methodologies have been proposed to solve prediction problems under different traffic situations. These works usually combine agent trajectories with either color-coded or vectorized high definition (HD) map as input representations and encode this information for behavior prediction tasks. However, not all the information is relevant in the scene for the forecasting and such irrelevant information may be even distracting to the forecasting in certain situations. Therefore, in this paper, we propose a novel generic representation for various driving environments by taking the advantage of semantics and domain knowledge. Using semantics enables situations to be modeled in a uniform way and applying domain knowledge filters out unrelated elements to target vehicle's future behaviors. We then propose a general semantic behavior prediction framework to effectively utilize these representations by formulating them into spatial-temporal semantic graphs and reasoning internal relations among these graphs. We theoretically and empirically validate the proposed framework under highly interactive and complex scenarios, demonstrating that our method not only achieves state-of-the-art performance, but also processes desirable zero-shot transferability.

연구 동기 및 목표

• 도메인 지식을 활용해 관련 의미 정보와 구조적 정보를 포착하면서도 불필요한 요소를 걸러내는 일반적이고 시나리오에 관계없는 주행 환경 표현을 개발하는 것.
• 다양한 도로 구조, 교통 규칙, 에이전트 상호작용을 가진 새로운 주행 시나리오로의 일반화 문제를 해결하는 것.
• 재학습이나 데이터 수집 없이도 훈련된 예측 모델을 새로운 환경에 제로샷으로 이식할 수 있도록 하는 것.
• 스페이스타임 관계를 의미 그래프로 모델링하여 복잡하고 상호작용적인 도심 환경에서의 예측 정확도와 신뢰도를 향상시키는 것.

제안 방법

• 의미 정보와 도메인 지식을 활용해 정적(고정밀도 지도) 및 동적(에이전트 경로) 환경 요소를 필터링하고 통합된 해석 가능한 형식으로 인코딩하는 일반적 표현 추출 모듈을 도입한다.
• 환경 표현을 2D/3D 시공간 의미 그래프(SG)로 정의하며, 노드는 의미적 목표(예: 차선 변경, 전방 회전)를 나타내고, 엣지는 에이전트와 환경 요소 간의 관계적 의존성을 표현한다.
• 의미 그래프 내부의 구조적 관계를 추론하기 위해 그래프 네트워크의 인덕티브 바이어스(순열 불변성 및 관계 추론)를 활용하는 의미 그래프 네트워크(SGN)를 설계한다.
• 프레임워크는 의미 그래프를 처리하기 위해 그래프 신경망을 사용하며, 이로써 구조화된 의미 입력에서 상호작용 인식 행동 예측을 엔드 투 엔드로 학습할 수 있다.
• 모델은 다양한 시나리오에서 엔드 투 엔드로 훈련되며, 기존 도메인(예: 원형 교차로)에서 새로운 도메인(예: T자형 교차로)으로의 제로샷 이식성에 대해 평가된다.
• 노드 특징의 t-SNE 시각화를 통해 도메인 불변성이 검증되었으며, 다양한 도로 유형과 교통 조건 간 특징 분포가 높은 겹침을 보였다.

실험 결과

연구 질문

• RQ1 다양한 교통 시나리오와 도로 구조에 대해 불변인 일반적 의미 기반 주행 환경 표현을 구성할 수 있는가?
• RQ2 의미 그래프 추론이 동적 교통 환경에서 복잡하고 상호작용적인 에이전트 행동을 효과적으로 모델링할 수 있는가?
• RQ3 제안된 프레임워크는 새로운 주행 시나리오로의 제로샷 이식성을 확보하면서 최신 기술 수준의 예측 성능을 달성하는가?
• RQ4 도메인 불변 표현은 다양한 교통 규칙과 에이전트 상호작용 패tern에 대한 일반화 능력을 어느 정도 향상시키는가?

주요 결과

• 제안된 방법은 여러 벤치마크 시나리오에서 예측 정확도와 신뢰구간 커버리지 모두 최신 기술 수준의 성능을 달성한다.
• 모델은 강력한 제로샷 이식성을 보이며, 8방향 원형 교차로에서 훈련한 후 신호등이 없는 T자형 교차로에서 재학습 없이도 성공적으로 일반화된다.
• t-SNE 시각화 결과, 일반적 의미 표현이 높은 도메인 불변성을 보이며, 다양한 도로 유형 간 특징 분포가 상당한 겹침을 보였다.
• 의미 그래프 추론 메커니즘은 입력 에이전트 및 환경 요소의 수와 순서의 변화에 대해 순열 불변성과 강건성을 확보한다.
• 복잡하고 상호작용적인 도심 환경에서 예측 오차와 불확실성 캘리브레이션 측면에서 일곱 가지 기준 모델보다 프레임워크가 뛰어난 성능을 보였다.