[論文レビュー] A Comprehensive Study on Visual Explanations for Spatio-temporal Networks.

Zhenqiang Li, Weimin Wang+3 more|arXiv (Cornell University)|May 1, 2020

Multimodal Machine Learning Applications参考文献 34被引用数 4

ひとこと要約

本稿では、動画入力を処理する時空間ニューラルネットワークに対する勾配ベースおよび摂動ベースの帰属割り当て手法の包括的評価を提示する。2次元の摂動法を3次元動画データへ拡張し、補完的な目的評価指標を導入した。その結果、帰属割り当て手法は目的評価基準と主観的評価基準で相反する性能を示すことが明らかになった。

ABSTRACT

Identifying and visualizing regions that are significant for a given deep neural network model, i.e., attribution methods, is still a vital but challenging task, especially for spatio-temporal networks that process videos as input. Albeit some methods that have been proposed for video attribution, it is yet to be studied what types of network structures each video attribution method is suitable for. In this paper, we provide a comprehensive study of the existing video attribution methods of two categories, gradient-based and perturbation-based, for visual explanation of neural networks that take videos as the input (spatio-temporal networks). To perform this study, we extended a perturbation-based attribution method from 2D (images) to 3D (videos) and validated its effectiveness by mathematical analysis and experiments. For a more comprehensive analysis of existing video attribution methods, we introduce objective metrics that are complementary to existing subjective ones. Our experimental results indicate that attribution methods tend to show opposite performances on objective and subjective metrics.

研究の動機と目的

• 既存の動画帰属割り当て手法（勾配ベースおよび摂動ベース）が、さまざまな時空間ネットワークアーキテクチャに適しているかどうかを調査すること。
• 数学的および実験的妥当性を伴って、2次元摂動ベースの帰属割り当て手法を3次元動画データへ拡張すること。
• 従来の主観的評価を補完する目的評価指標を導入し、人間の判断に依存しない帰属割り当ての質を定量化すること。
• 動画説明タスクにおける帰属割り当て手法の目的的評価と主観的評価の乖離を分析すること。

提案手法

• 空間的・時間的次元にわたるマスキング戦略を用いて、時空間ボリューム（動画テンソル）に適応したサリエンシー計算を拡張することで、2次元摂動ベース手法を3次元に拡張した。
• 空間的および時間的次元にわたるマスキング戦略を用いて、3次元摂動法を形式化し、影響力のある動画セグメントを同定した。
• モデルのロバストネスおよび特徴の感度に基づく新しい目的指標を提案し、人間の判断に依存しない帰属割り当ての質を定量的に測定した。
• 複数の動画分類モデルを用いた制御実験を通じて、目的的および主観的評価の両方において帰属割り当て手法を比較した。
• 数学的分析を用いて、拡張された3次元摂動法の理論的整合性を検証した。
• 定性的な可視化と定量的指標を統合し、帰属割り当ての忠実性および安定性を評価した。

実験結果

リサーチクエスチョン

• RQ1 どの種類の時空間ネットワークアーキテクチャが、勾配ベースと摂動ベースの動画帰属割り当て手法に最も適しているか？
• RQ2 解釈可能性と正確性を保持したまま、2次元摂動ベースの帰属割り当て手法を3次元動画データへ効果的に拡張する方法は何か？
• RQ3 目的指標と主観的人間評価の間には、どの程度の相関があるのか？
• RQ4 帰属割り当て手法は、目的的および主観的評価基準の両方で一貫した性能を示すのか？

主な発見

• 拡張された3次元摂動ベース手法は、多様な動画データセットにおいて一貫性があり安定した帰属割り当てマップを示した。数学的分析および実験的結果によって裏付けられた。
• 目的指標により、人間アノテーターからの高い主観的スコアを得たにもかかわらず、一部の帰属割り当て手法が劣悪な性能を示すことが明らかになった。
• 顕著な性能の乖離が観察された：主観的評価で高いスコアを得た手法は、目的指標では低性能を示し、逆に目的指標で高いスコアを得た手法は主観的評価で低得点をとる傾向が見られた。
• 本研究により、主観的評価にのみ依存することは、帰属割り当て手法の質について誤った結論を導く可能性があることが確認された。
• 提案された目的指標は、モデルの感度およびロバストネスを効果的に捉えており、人間の判断に代わる信頼できる代替手段を提供した。
• 勾配ベース手法は、特に長距離時間的推論タスクにおいて、摂動ベース手法よりも入力摂動に対して高い感度を示した。