[論文レビュー] Interpretable Self-Attention Temporal Reasoning for Driving Behavior Understanding

Yi-Chieh Liu, Yung‐An Hsieh+4 more|arXiv (Cornell University)|Nov 5, 2019

Human Pose and Action Recognition参考文献 27被引用数 19

ひとこと要約

本稿では、自己注意メカニズムを用いた時系列推論ブロック（TRB）を提案し、自動走行行動認識における因果的推論の向上を図る。3D畳み込みニューラルネットワーク（3D CNN）にTRBを統合することで、86.3%の精度を達成し、最先端モデルを上回る性能を発揮。さらに、摂動に基づく可視化解釈手法により、信号機や歩行者といった因果要因への注目が強化されていることが確認された。

ABSTRACT

Performing driving behaviors based on causal reasoning is essential to ensure driving safety. In this work, we investigated how state-of-the-art 3D Convolutional Neural Networks (CNNs) perform on classifying driving behaviors based on causal reasoning. We proposed a perturbation-based visual explanation method to inspect the models' performance visually. By examining the video attention saliency, we found that existing models could not precisely capture the causes (e.g., traffic light) of the specific action (e.g., stopping). Therefore, the Temporal Reasoning Block (TRB) was proposed and introduced to the models. With the TRB models, we achieved the accuracy of $\mathbf{86.3\%}$, which outperform the state-of-the-art 3D CNNs from previous works. The attention saliency also demonstrated that TRB helped models focus on the causes more precisely. With both numerical and visual evaluations, we concluded that our proposed TRB models were able to provide accurate driving behavior prediction by learning the causal reasoning of the behaviors.

研究の動機と目的

• 最先端の3D CNNが因果的推論に基づいてドライブ行動を分類する性能を調査すること。
• 時系列的および空間的依存関係のモデリングを強化するため、時系列推論ブロック（TRB）を導入することでモデル性能を向上させること。
• 動画認識モデルにおける空間的・時系列的注目を検査するため、摂動に基づく可視化解釈手法を開発すること。
• TRBがドライブシナリオにおける予測精度および人間の因果的推論と整合する注目パターンの両方を向上させることを検証すること。

提案手法

• 時系列推論ブロック（TRB）は、動画フレーム間の空間的・時系列的依存関係をモデリングする階層的自己注意メカニズムを用いる。
• TRBは、まず3D畳み込みを用いて細粒度の空間的・時系列的特徴を抽出し、その後に多頭部自己注意を適用して長距離のグローバル依存関係を捉える。
• TRBは、3D CNNの深層部（C3D、I3D、3DResNet）に統合され、バックボーンアーキテクチャを変更せずに特徴表現を強化する。
• 摂動に基づく可視化解釈手法は、入力動画のパッチを繰り返しマスクし、分類スコアの変化を測定することで注目度サリエンシーを生成する。
• この手法は、ガウスノイズとメディアンブラーの組み合わせを用いて摂動を生成し、Adamを用いた最適化によりサリエンシー地図を生成する。
• 注目度スコアは、物体中心を基準に半径内でのサリエンシー値を集約し、物体サイズで正規化することで、異なるサイズの物体間での公平な比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 最先端の3D CNNは、信号機や歩行者による停止といった因果的要因に基づいてドライブ行動を正確に分類できるか？
• RQ2 提案された時系列推論ブロック（TRB）は、因果的ドライブ行動認識タスクにおける3D CNNの性能を向上させるか？
• RQ3 提案された摂動に基づく可視化解釈手法は、予測時にモデルがどの動画領域に注目しているかを効果的に特定できるか？
• RQ4 TRBは、信号機のような実際の原因に注目するなど、より解釈可能で人間の認識と整合する注目パターンをもたらすか？

主な発見

• 3DResnet-TRBモデルは、因果的ドライブ行動分類で最高の86.3%の精度を達成し、すべてのベースラインモデルを上回った。
• TRBの追加により、評価されたすべてのモデルの性能が向上した：CRNN-TRB（78.31% vs. 73.49%）、C3D-TRB（69.88% vs. 60.71%）、I3D-TRB（83.13% vs. 77.11%）、3DResnet-TRB（86.30% vs. 83.56%）。
• サリエンシー解析の結果、3DResnet-TRBは、境界ボックスの整合性からも、信号機や歩行者といった因果的物体により正確に注目していた。
• 混雑している雨天シナリオでは、エゴ車両が接近するに従い、注目度が信号機から前方車両に移行しており、合理的な因果的注目シフトが観察された。
• 摂動に基づく解釈手法は、実際に原因となる場所（停止標識、信号機など）の周辺に高い注目度スコアが集中していることを成功裏に同定した。
• 物体サイズで注目度スコアを正規化することで、異なるスケールの物体間での公平な比較が可能となり、注目度評価の堅牢性が確認された。