[논문 리뷰] Who Make Drivers Stop? Towards Driver-centric Risk Assessment: Risk Object Identification via Causal Inference

Chengxi Li, Stanley H. Chan외 1명|arXiv (Cornell University)|2020. 03. 05.

Autonomous Vehicle Technology and Safety참고 문헌 29인용 수 10

한 줄 요약

이 논문은 보행자나 차량과 같이 운전사의 행동에 영향을 주는 물체를 위험한 것으로 정의하는 운전자 중심의 위험 정의를 제안한다. 입력 영상에서 트랙릿을 제거하고 행동 변화를 측정함으로써, 학습된 운전 모델의 행동 변화를 간섭함으로써 위험 물체를 식별하는 이중 단계의 인과 추론 프레임워크를 도입하여 HDD 데이터셋에서 강력한 기준 모델 대비 평균 7.5%의 성능 향상을 달성한다.

ABSTRACT

A significant amount of people die in road accidents due to driver errors. To reduce fatalities, developing intelligent driving systems assisting drivers to identify potential risks is in an urgent need. Risky situations are generally defined based on collision prediction in the existing works. However, collision is only a source of potential risks, and a more generic definition is required. In this work, we propose a novel driver-centric definition of risk, i.e., objects influencing drivers' behavior are risky. A new task called risk object identification is introduced. We formulate the task as the cause-effect problem and present a novel two-stage risk object identification framework based on causal inference with the proposed object-level manipulable driving model. We demonstrate favorable performance on risk object identification compared with strong baselines on the Honda Research Institute Driving Dataset (HDD). Our framework achieves a substantial average performance boost over a strong baseline by 7.5%.

연구 동기 및 목표

• 지능형 주행 시스템에서 충돌 기반의 위험 정의의 한계를 해결하기 위해 더 넓은 행동 중심의 위험 정의를 제안한다.
• 운전사 결정에 인과적으로 영향을 주는 물체를 식별하는 데 초점을 맞춘 새로운 작업인 위험 물체 식별을 도입한다.
• 기존 방법에서의 애너테이션 부족과 주의 분포 불일치 문제를 해결하기 위해, 인과 추론을 활용해 위험 식별을 인과-결과 문제로 재정의한다.
• 조작 가능한 운전 모델과 간섭 기반 분석을 활용하는 이중 단계 프레임워크를 개발하여 강건한 위험 물체 탐지 능력을 확보한다.
• 인과 추론을 활용하여 실제 주행 데이터에서 뛰어난 성능과 해석 가능성의 조합을 입증한다.

제안 방법

• 운전사 행동의 변화를 유도하는 물체를 위험으로 정의하고, 인과-결과 프레임워크를 사용한다.
• 입력 영상 기반으로 '진행' 또는 '정지' 행동을 예측할 수 있는 물체 수준의 조작 가능한 운전 모델을 훈련한다.
• 한 번에 한 트랙릿씩 제거하고 부분 컨볼루션을 사용하여 영역을 보간함으로써 부재 상태를 시뮬레이션하는 간섭을 적용한다.
• 예측된 행동의 변화(예: '정지'에서 '진행'으로의 변화)를 측정하여 운전사 결정에 영향을 주는 인과적 물체를 식별한다.
• 행동 변화의 크기를 위험 지표로 사용하며, 변화가 클수록 위험 기여도가 높음을 의미한다.
• 각 물체의 위험 점수를 시각화하고 HDD 데이터셋에서 정성적 및 정량적 분석을 통해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 운전 장면에서 운전사가 정지하기로 决定하는 데 인과적으로 기여하는 물체는 무엇인가?
• RQ2 충돌 예측을 넘어서 운전사 행동에 영향을 주는 물체를 포함하는 위험은 어떻게 재정의할 수 있는가?
• RQ3 주의 기반 또는 지도 학습 기반 방법과 비교해 인과 추론 기법이 위험 물체 식별의 정확성과 해석 가능성에 기여하는가?
• RQ4 조작 가능한 운전 모델에 대한 간섭 기반 분석은 위험 물체 탐지에 어떻게 기여하는가?
• RQ5 이 프레임워크의 실패 유형은 무엇이며, 이는 잘못된 의도 모델링과 어떻게 관련이 있는가?

주요 결과

• 제안된 인과 추론 프레임워크는 히든드라이브연구소의 주행 데이터셋(HDD)에서 강력한 기준 모델 대비 평균 7.5%의 성능 향상을 달성한다.
• 시험된 상황의 80%에서 정확한 위험 물체를 식별하는 데 성공하였으며, 다중 보행자 횡단과 같은 복잡한 상호작용 상황에서도 성능을 유지한다.
• 정성적 결과는 프레임워크가 에고 차량의 경로를 횡단하는 보행자와 같은 관련 교통 참가자에게 높은 위험 점수를 할당하는 것으로 나타났다.
• 실패 케이스는 주로 에고 차량의 의도를 잘못 예측하는 데 기인하여, 향후 향상의 핵심은 명시적 의도 모델링이 필요함을 시사한다.
• 부분 컨볼루션을 사용한 보간 과정에서 잡음이 발생하여 주변 특징이 왜곡될 수 있으며, 이는 인접한 물체를 제거했을 때 위험 점수가 과대 평가되는 원인이 될 수 있다.
• 제거 실험 결과는 간섭 기반 인과 분석이 주의 기반 또는 엔드 투 엔드 시각화 방법보다 행동 영향을 주는 물체 식별에서 뛰어난 성능을 보임을 확인한다.