[논문 리뷰] Interpretable Self-Attention Temporal Reasoning for Driving Behavior Understanding

Yi-Chieh Liu, Yung‐An Hsieh외 4명|arXiv (Cornell University)|2019. 11. 05.

Human Pose and Action Recognition참고 문헌 27인용 수 19

한 줄 요약

이 논문은 자동주행 주행 행동 인식에서 인과적 추론을 향상시키기 위해 자기주의 주의 메커니즘을 사용하는 시간적 추론 블록(TRB)을 제안한다. 3D CNN에 TRB를 통합함으로써 모델은 86.3%의 정확도를 달성하여 최신 기술 수준의 모델들을 능가한다. 또한, 펌터베이션 기반 시각적 설명 방법을 통해 TRB가 신호등과 보행자와 같은 인과적 요인에 대한 주의를 강화함을 확인하였다.

ABSTRACT

Performing driving behaviors based on causal reasoning is essential to ensure driving safety. In this work, we investigated how state-of-the-art 3D Convolutional Neural Networks (CNNs) perform on classifying driving behaviors based on causal reasoning. We proposed a perturbation-based visual explanation method to inspect the models' performance visually. By examining the video attention saliency, we found that existing models could not precisely capture the causes (e.g., traffic light) of the specific action (e.g., stopping). Therefore, the Temporal Reasoning Block (TRB) was proposed and introduced to the models. With the TRB models, we achieved the accuracy of $\mathbf{86.3\%}$, which outperform the state-of-the-art 3D CNNs from previous works. The attention saliency also demonstrated that TRB helped models focus on the causes more precisely. With both numerical and visual evaluations, we concluded that our proposed TRB models were able to provide accurate driving behavior prediction by learning the causal reasoning of the behaviors.

연구 동기 및 목표

• 상위 수준의 3D CNN 모델이 인과적 추론에 기반해 주행 행동을 분류하는 데 성능을 어떻게 발휘하는지 조사한다.
• 시간적 및 공간적 종속성 모델링을 향상시키기 위해 시간적 추론 블록(TRB)을 도입하여 모델 성능을 향상시킨다.
• 비디오 인식 모델의 공간-시간 주의를 점검하기 위한 펌터베이션 기반 시각적 설명 방법을 개발한다.
• TRB가 주행 시나리오에서 예측 정확도와 인간의 인과적 추론과 일치하는 주의 패턴을 향상시킨다는 것을 검증한다.

제안 방법

• 시간적 추론 블록(TRB)은 비디오 프레임 간의 공간-시간 종속성을 모델링하기 위해 계층적 자기주의 주의 메커니즘을 사용한다.
• TRB는 다중 헤드 자기주의 주의를 적용하기 전에 세밀한 공간-시간 특징을 추출하기 위해 3D 컨볼루션을 적용한다. 이를 통해 장거리 전역 종속성을 포착한다.
• TRB는 3D CNN의 더 깊은 층(예: C3D, I3D, 3DResNet)에 삽입되어 백본 아키텍처를 변경하지 않고도 특징 표현을 향상시킨다.
• 펌터베이션 기반 시각적 설명 방법은 입력 비디오 패치를 반복적으로 마스킹하고 분류 점수 변화를 측정하여 주의 시각화 정밀도를 생성한다.
• 펌터베이션에 가우시안 및 메디안 블러의 조합을 사용하며, Adam 최적화를 통해 시각화 지도를 생성한다.
• 주의 점수는 객체 중심 주변 반경 내의 시각화 값을 집계하고, 객체 크기로 정규화하여 다양한 크기의 객체 간 공정한 비교를 보장한다.

실험 결과

연구 질문

• RQ1 최신 기술 수준의 3D CNN은 신호등이나 보행자로 인한 정지와 같은 인과적 추론에 기반해 주행 행동을 정확히 분류할 수 있는가?
• RQ2 제안된 시간적 추론 블록(TRB)은 3D CNN의 인과적 주행 행동 인식 작업 성능을 향상시키는가?
• RQ3 제안된 펌터베이션 기반 시각적 설명 방법은 모델이 예측 중에 어떤 비디오 영역에 주목하는지 효과적으로 드러내는가?
• RQ4 TRB는 실제 원인(예: 신호등)에 집중함으로써 더 해석 가능하고 인간의 인식과 일치하는 주의 패턴을 유도하는가?

주요 결과

• 3DResnet-TRB 모델은 인과적 주행 행동 분류에서 최고의 정확도 86.3%를 기록하여 모든 기준 모델을 능가했다.
• TRB의 추가로 모든 평가된 모델의 성능 향상이 확인되었다: CRNN-TRB(78.31% 대비 73.49%), C3D-TRB(69.88% 대비 60.71%), I3D-TRB(83.13% 대비 77.11%), 3DResnet-TRB(86.30% 대비 83.56%).
• 시각적 시각화 분석 결과, 3DResnet-TRB는 경계 상자 정렬을 통해 신호등과 보행자와 같은 인과적 객체에 더 정밀하게 주의를 기울였다.
• 정체 상황에서 비가 오는 상황에서, 자동차가 앞차량에 가까워지면서 주의 점수가 신호등에서 앞차량으로 이동하는 합리적인 인과적 주의 이동을 보였다.
• 펌터베이션 기반 설명 방법은 시각적으로 중요한 영역을 성공적으로 식별하였으며, 정확한 원인(예: 정지 신호등, 신호등) 주변에 높은 주의 점수가 집중되어 있었다.
• 객체 크기로 주의 점수를 정규화함으로써 다양한 크기의 객체 간 공정한 비교가 가능했으며, 주의 평가의 강건성을 확인하였다.