[논문 리뷰] Grounded Relational Inference: Domain Knowledge Driven Explainable Autonomous Driving

Chen Tang, Nishan Srishankar외 2명|arXiv (Cornell University)|2021. 02. 23.

Autonomous Vehicle Technology and Safety참고 문헌 36인용 수 10

한 줄 요약

이 논문은 설명 가능한 자율주행을 위한 의미 있는 상호작용 그래프를 생성하기 위해 도메인 지식을 관계 잠재 공간에 통합하는 Grounded Relational Inference (GRI)를 제안한다. 수동적 행동인 양보 및 차선 변경과 같은 전문가가 정의한 행동에 잠재 변수를 기반으로 함으로써, GRI는 설명이 인과 메커니즘과 인간이 이해할 수 있는 교통 규칙에 부합하도록 보장하며, 차선 변경 시나리오에서 99.95%의 정확도를 달성하고 기존 방법에 비해 더 높은 강건성을 확보한다.

ABSTRACT

Explainability is essential for autonomous vehicles and other robotics systems interacting with humans and other objects during operation. Humans need to understand and anticipate the actions taken by the machines for trustful and safe cooperation. In this work, we aim to develop an explainable model that generates explanations consistent with both human domain knowledge and the model's inherent causal relation. In particular, we focus on an essential building block of autonomous driving, multi-agent interaction modeling. We propose Grounded Relational Inference (GRI). It models an interactive system's underlying dynamics by inferring an interaction graph representing the agents' relations. We ensure a semantically meaningful interaction graph by grounding the relational latent space into semantic interactive behaviors defined with expert domain knowledge. We demonstrate that it can model interactive traffic scenarios under both simulation and real-world settings, and generate semantic graphs explaining the vehicle's behavior by their interactions.

연구 동기 및 목표

• 딥 러닝 모델의 투명성 부족으로 인해 자율주행 차량의 인간 신뢰도와 협업이 저해되는 문제를 해결하기 위해.
• 후행적 설명의 모호성을 해결하기 위해 설명이 모델의 인과성과 인간의 도메인 지식 모두와 일관되도록 보장하기 위해.
• 예측 불가능한 잠재 클러스터가 아닌, 양보 또는 차선 변경과 같은 명확한 의미를 지닌 상호작용 그래프를 생성하는 관계 추론 프레임워크를 개발하기 위해.
• 전문가가 정의한 상호작용 행동을 사용하여 관계 잠재 공간을 기반으로 하여 다중 에이전트 교통 시나리오에서 모델의 해석 가능성 향상하기 위해.
• 결과로 도출된 상호작용 그래프가 행동을 설명할 뿐 아니라 교통 규칙과 실제 도로 동적 행동에 부합하는 정책 학습을 이끌어내는지 검증하기 위해.

제안 방법

• GRI는 잠재 상호작용 변수를 양보 및 차선 변경과 같은 사전 정의된 행동으로 매핑하는 구조적이고 의미 있는 보상 함수를 도입함으로써 신경 관계 추론(NRI)을 확장한다.
• 모델이 의미 있는 상호작용 그래프와 일치하는 행동을 생성하도록, 적대적 역강화학습(AIRL)을 사용하여 정책을 훈련시킨다.
• 관측된 상호작용이 전문가가 정의한 행동과 일치하는지에 따라 보상을 할당하는 의미 보상 함수를 설계하여, 잠재 공간이 도메인 지식에 기반하도록 보장한다.
• 관측된 궤적의 가능도를 최대화하고 잠재 변수에 대한 정보 병목을 최소화하는 변분 추론 프레임워크를 통해 상호작용 그래프를 추론한다.
• 정책 디코더는 추론된 상호작용 그래프를 사용하여 제어 동작을 생성하여, 결정이 해석 가능한 에이전트 상호작용과 인과적으로 연결되도록 보장한다.
• 궤적 재구성, 정책 최적화, 그리고 구조적 보상 함수를 통한 의미 기반 지도를 조합한 통합 목표 함수를 사용하여 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 전문가가 정의한 상호작용 행동에 기반하여 관계 잠재 공간을 기반으로 하면, 성능 저하 없이 자율주행 모델의 해석 가능성은 향상될 수 있는가?
• RQ2 의미 보상 함수를 통합할 경우, 다중 에이전트 교통 시나리오에서 관계 추론의 품질과 안정성은 어떻게 영향을 받는가?
• RQ3 유추된 상호작용 그래프가 인간이 이해할 수 있는 행동(예: 양보 또는 차선 변경)으로 차량 행동을 얼마나 잘 설명할 수 있는가?
• RQ4 의미 기반 기반의 관계 추론은 엔드 투 엔드 또는 후행적 설명 방법에 비해 더 강건하고 일반화 능력이 뛰어난 정책을 도출하는가?
• RQ5 관계 추론에서 구조적 보상 함수를 사용할 경우, 재구성 정확도와 의미 해석 가능성 사이의 상충 관계는 어떠한가?

주요 결과

• GRI는 차선 변경 시나리오에서 상호작용 유형을 분류하는 데 99.95%의 정확도를 달성하여, GRI-VAIRL(50.0%) 및 GRI-AIRL(정확도 보고 없음)에 비해 유의미하게 뛰어나 의미 기반 지도의 필요성을 입증한다.
• 차량 추종 시나리오에서는 GRI-VAIRL(의미 보상 없음)이 GRI-AIRL보다 100%의 정확도와 더 낮은 RMSE를 기록하여, 관계 추론 자체가 안정성과 수렴성을 향상시킨다는 것을 시사한다.
• GRI는 차량 추종 시나리오에서 x-위치(RMSE: 0.241±0.125 m)와 속도(RMSE: 0.174±0.068 m/s) 재구성에서 가장 낮은 RMSE를 기록하여 강력한 재구성 성능를 입증한다.
• GRI-VAIRL 변종은 차선 변경 시 정확도가 낮지만, 더 빠른 수렴 속도와 하이퍼파rameter에 대한 감도 감소를 보여 관계 추론이 훈련 안정성을 향상시킨다는 것을 시사한다.
• 의미 보상 함수의 도입으로 재구성 성능가 약간 감소하여, 해석 가능성과 모델링 능력 사이의 상충 관계가 있음을 시사한다.
• 모델은 합성 시나리오에서 실제 의미를 지닌 엣지 유형을 정확히 유추하여 진정한 세계의 행동(예: 양보, 차선 변경)과 일치하는 상호작용 그래프를 성공적으로 추론하였다.