[論文レビュー] Analysis of Explainers of Black Box Deep Neural Networks for Computer Vision: A Survey

Vanessa Buhrmester, David Münch+1 more|arXiv (Cornell University)|Nov 27, 2019

Explainable Artificial Intelligence (XAI)被引用数 51

ひとこと要約

黒箱ディープニューラルネットワークの説明手法の総合的な調査。機械視覚領域における分類法、機構、性質、および透明性と信頼の向上のための研究ギャップを扱う。

ABSTRACT

Deep Learning is a state-of-the-art technique to make inference on extensive or complex data. As a black box model due to their multilayer nonlinear structure, Deep Neural Networks are often criticized to be non-transparent and their predictions not traceable by humans. Furthermore, the models learn from artificial datasets, often with bias or contaminated discriminating content. Through their increased distribution, decision-making algorithms can contribute promoting prejudge and unfairness which is not easy to notice due to lack of transparency. Hence, scientists developed several so-called explanators or explainers which try to point out the connection between input and output to represent in a simplified way the inner structure of machine learning black boxes. In this survey we differ the mechanisms and properties of explaining systems for Deep Neural Networks for Computer Vision tasks. We give a comprehensive overview about taxonomy of related studies and compare several survey papers that deal with explainability in general. We work out the drawbacks and gaps and summarize further research ideas.

研究の動機と目的

• 機械視覚に用いられる深層ニューラルネットワークの最新の説明手法の包括的な概要を提供する。
• 前向き説明と後付け説明、局所と全体、モデル固有とモデル非依存を区別する。
• 解釈可能性AIのビジョンタスクにおける研究を指針とするため、方法論的な長所、限界、およびギャップを強調する。

提案手法

• 説明手法を視覚化、勾配ベースの手法、デコンボリューション／インバージョン手法、分解とルール抽出技術、モデル非依存の後付け手法に分類する。
• 前向き説明と後付け説明、局所と全体の説明を論じる。
• 代表的な説明手法（例：LIME、Grad-CAM、CAM、LRP、Deep Taylor Decomposition、PDA、Deconvnet）とそれらの視覚認識CNNへの適用性を要約する。
• 説明の性質（解釈可能性、説明可能性、理解可能性、コンパクト性、忠実度、信頼）を説明する。
• 説明可能性の概念と、公正性、透明性、GDPRのような説明などの倫理的考慮事項との関連を示し、視覚タスクにおける Explainable AI の研究を導く。

実験結果

リサーチクエスチョン

• RQ1 コンピュータビジョンにおいて深層ニューラルネットワークを説明するための主なカテゴリと機構は何か？
• RQ2 視覚モデルに適用された場合、さまざまな説明手法は解釈可能性、完全性、忠実度をどのようにトレードオフするか？
• RQ3 CNNベースの視覚タスクに対する現在の説明可能性アプローチにはどのようなギャップや欠点があり、今後の研究の展望は何か？

主な発見

• 視覚化、勾配、デコンボリューション、分解、ルール抽出、LIMEなどのモデル非依存手法を含む、説明手法の幅広い分類体系が存在する。
• 説明可能性の概念は、解釈可能性、説明可能性、理解可能性、完全性を区別し、コンパクト性が有限で理解可能な説明を保証する。
• 論じられる代表的な手法には LRP、Deep Taylor Decomposition、CAM/Grad-CAM、Grad-CAM++, LIME、PDA、Deconvnet、Smooth-Grad、activation atlases があり、それぞれ適用性と制約がある。
• 後付け・局所的説明（例：LIME、Grad-CAM、Smooth-Grad）は個別予測の説明を提供する一方で、前向きまたは全体的アプローチ（例：BRL、BETA）は全体的なモデル理解を目指す。
• 本論文は、偏り、透明性、GDPRのような規制圧力を含む説明可能性の倫理的・公正性の動機を強調し、説明を通じた信頼構築を強調している。