[논문 리뷰] Explainable Object-induced Action Decision for Autonomous Vehicles

Yiran Xu, Xiaoyin Yang외 5명|arXiv (Cornell University)|2020. 03. 20.

Explainable Artificial Intelligence (XAI)참고 문헌 43인용 수 6

한 줄 요약

이 논문은 자율주행차를 위한 새로운 해석 가능한 의사결정 프레임워크를 제안하며, 위험을 유도하는 물체에 초점을 맞춰 주행 동작과 그에 대한 객체 기반 설명을 동시에 예측한다. BDD-OIA 데이터셋과 다중 작업 CNN 아키텍처를 도입함으로써 설명에 기반한 지도 학습을 통해 동작 예측 정확도를 향상시켰으며, 설명이 의사결정을 인과적 장면 추론에 기반하게 하여 모델 성능을 향상시킨다는 것을 입증한다.

ABSTRACT

A new paradigm is proposed for autonomous driving. The new paradigm lies between the end-to-end and pipelined approaches, and is inspired by how humans solve the problem. While it relies on scene understanding, the latter only considers objects that could originate hazard. These are denoted as action-inducing, since changes in their state should trigger vehicle actions. They also define a set of explanations for these actions, which should be produced jointly with the latter. An extension of the BDD100K dataset, annotated for a set of 4 actions and 21 explanations, is proposed. A new multi-task formulation of the problem, which optimizes the accuracy of both action commands and explanations, is then introduced. A CNN architecture is finally proposed to solve this problem, by combining reasoning about action inducing objects and global scene context. Experimental results show that the requirement of explanations improves the recognition of action-inducing objects, which in turn leads to better action predictions.

연구 동기 및 목표

• 엔드 투 엔드 및 파ipel라인 시스템 간의 하이브리드 접근법을 제안하여 자율주행 분야의 해석 가능성과 성능 격차를 해소하고자 한다.
• 모든 장면 객체가 아니라, 동작을 유도하는 물체—즉, 상태 변화가 차량 동작을 유발하는 물체—를 식별하고 초점을 맞추고자 한다.
• 주행 동작과 그에 대한 설명을 다중 작업 학습 문제로 동시에 예측함으로써 모델의 강건성과 해석 가능성 향상을 도모하고자 한다.
• 복잡한 주행 장면을 위한 애너테이션을 수행한 4개의 동작과 21개의 설명을 포함하는 새로운 데이터셋 BDD-OIA를 개발하고자 한다.
• 설명 지도 학습이 더 풍부하고 인과적으로 기반한 지도 학습을 제공함으로써 동작 예측 성능을 향상시킨다는 것을 입증하고자 한다.

제안 방법

• 공유된 CNN 기반 아키텍처를 사용하여 주행 동작과 설명을 동시에 예측하는 다중 작업 딥 러닝 프레임워크를 제안한다.
• 장면 내 동작 유도 물체를 탐지하고 국소화하기 위해 Faster R-CNN을 활용한다.
• 탐지된 물체가 주행 결정과 얼마나 관련이 있는지 판단하기 위해 글로벌 장면 컨텍스트 모듈을 도입한다.
• 동작 예측과 설명 생성을 동시에 최적화하기 위해 연합 손실 함수를 사용한다.
• 설명을 유한한 의미 클래스 집합에 매핑하여 생성 모델링이 아닌 분류 기반 설명 생성을 가능하게 한다.
• 설명을 특정 물체에 기반하게 하여 설명이 관찰 가능한 장면 요소에 기반하고 동작과 인과적으로 연결되도록 보장한다.

실험 결과

연구 질문

• RQ1 주행 동작과 설명을 동시에 예측하는 것이 자율주행에서 동작 인식 정확도를 향상시키는가?
• RQ2 설명 지도 학습은 동작 유도 물체 탐지 및 추론에 어떤 영향을 미치는가?
• RQ3 국소적 물체 특징에 비해 글로벌 장면 특징에서의 맥락적 추론이 설명 품질에 얼마나 기여하는가?
• RQ4 설명을 분류 작업으로 모델링하는 것이 엔드 투 엔드 또는 생성적 설명 방법에 비해 성능 향상에 기여하는가?
• RQ5 프레임당 다수의 가능한 동작을 포함함으로써 데이터 불균형 문제를 어떻게 완화하고 일반화 성능을 향상시키는가?

주요 결과

• 설명 지도 학습을 추가함으로써 동작 예측 정확도가 뚜렷이 향상되었으며, 설명이 후행적 해석이 아니라 활성 학습 신호임을 입증한다.
• 설명을 동시에 예측할 경우, 동작 유도 물체 탐지 정확도가 향상되어 관련 장면 요소에 대한 주의 집중이 향상됨을 보여준다.
• 글로벌 장면 컨텍스트는 국소적 물체 특징보다 더 높은 설명 품질에 기여하며, 의미 있는 설명 생성에 있어 맥락적 추론이 핵심임을 시사한다.
• 다중 작업 설정은 일반적인 동작(예: '앞으로' 또는 '느리게' 등)을 과도하게 예측하는 경향을 줄여 더 풍부한 지도 학습을 제공함으로써 모델 성능을 향상시킨다.
• IMU 데이터 기반 단일 동작 예측은 심한 클래스 불균형과 낮은 일반화 성능을 야기하지만, 다중 동작 예측은 데이터 다양성을 증가시켜 '좌회전' 또는 '우회전'과 같은 희귀 동작에 대한 성능 향상을 이룬다.
• 정성적 결과에서는 모델이 신호등, 보행자와 같은 핵심 동작 유도 물체를 성공적으로 식별하는 동안 주행과 관련 없는 요소인 주차된 차량이나 보도 보행자와 같은 요소는 무시하는 것으로 나타났다.