[論文レビュー] Interpreting CNNs via Decision Trees

Quanshi Zhang, Yang Yu+2 more|arXiv (Cornell University)|Feb 1, 2018

Explainable Artificial Intelligence (XAI)参考文献 45被引用数 27

ひとこと要約

この論文では、高レベルの特徴活性化を意味的対象部品にマッピングする意思決定木を学習することで、事前学習されたCNNの解釈手法を提案している。これにより、予測がなされた*理由*について、定量的かつ人間が読みやすい説明が可能になる。本手法はフィルタを解釈可能な部分に分離し、意思決定モードを粗い順から細かい順に整理し、各部分が予測スコアに与える数値的寄与を報告する。このアプローチは、意味的明確性と根拠の整合性において、ピクセルレベルの説明より優れている。

ABSTRACT

This paper aims to quantitatively explain rationales of each prediction that is made by a pre-trained convolutional neural network (CNN). We propose to learn a decision tree, which clarifies the specific reason for each prediction made by the CNN at the semantic level. I.e., the decision tree decomposes feature representations in high conv-layers of the CNN into elementary concepts of object parts. In this way, the decision tree tells people which object parts activate which filters for the prediction and how much they contribute to the prediction score. Such semantic and quantitative explanations for CNN predictions have specific values beyond the traditional pixel-level analysis of CNNs. More specifically, our method mines all potential decision modes of the CNN, where each mode represents a common case of how the CNN uses object parts for prediction. The decision tree organizes all potential decision modes in a coarse-to-fine manner to explain CNN predictions at different fine-grained levels. Experiments have demonstrated the effectiveness of the proposed method.

研究の動機と目的

• ピクセルレベルのサリエンシーマップを越えた、意味的かつ定量的なCNN予測の説明を提供すること。
• 部分アノテーションなしで、高層のCNNフィルタを解釈可能な対象部品の概念に分離すること。
• 各予測の根拠を、対象の部品の組み合わせ方を捉えた木構造の意思決定パスとしてモデル化すること。
• ユーザーが*どの部分*が、*どれくらいの寄与*をしているかを理解できるようにすること。
• 抽象的な特徴表現と人間が理解できる言語的説明の間のギャップを埋めること。

提案手法

• 高層畳み込み層に、部分アノテーションなしで、各フィルタが複数の画像内で一貫して特定の対象部品にのみ反応するように、分離されたフィルタを学習するCNNを訓練する。
• 意思決定モードの粗い順から細かい順への階層を捉えるように、潜在的な意思決定モードを整理する意思決定木を学習する。
• 各入力画像に対して、意思決定木からパースツリーを推論し、ニューラル活性化を特定の対象部品とその寄与にマッピングする。
• 意思決定木のノードを用いて、各対象部品（フィルタ）が最終予測スコアに与える数値的寄与を推定する。
• 無視できるフィルタを抑制する正則化スキームを適用し、スパースで意味のある意思決定パスを保証する。
• 情報損失を測定するために、木構造表現における分類精度と予測誤差を用いて手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 意思決定木を用いて、自動的にCNNの予測の背後にある意味的根拠を発見・表現することは可能か？
• RQ2 CNNが同じクラスの異なる画像で使用する共通の意思決定パターンを、意思決定木はどの程度正しく捉えられるか？
• RQ3 意思決定木は、フィルタの寄与について、どの程度定量的かつ人間が解釈可能な説明を提供できるか？
• RQ4 Grad-CAMなどのピクセルレベルの可視化手法と比較して、本手法の説明の正確性（説明の信頼性）はどの程度高いか？
• RQ5 本手法は、部分アノテーションなしで、異なるCNNアーキテクチャーやデータセットに一般化可能か？

主な発見

• 意思決定木は、CNNの潜在的なすべての意思決定モードを粗い順から細かい順への構造に正しくエンコードし、予測の階層的説明を可能にした。
• CUB200-2011データセットにおいて、VGG-Mアーキテクチャを用いて96.5%のトップ1精度を達成した。これは、強力な予測性能を示している。
• ILSVRC Animal-Partにおいて、意思決定木の2番目の層での平均予測誤差は0.052であり、説明プロセスにおける情報損失が低いことを示している。
• 細分化された意思決定モード（例：100番目の層）では、粗い層よりも誤差率が低く（0.034）、根拠推定の正確性が高いことが確認された。
• VGG-16を用いたVOC Partでは95.4%の精度を達成し、アーキテクチャを越えて堅牢性があることが示された。
• 全データセットおよびモデルにおける平均分類精度は90%以上を維持しており、本手法の一貫性と有効性が検証された。