[論文レビュー] Semantics for Global and Local Interpretation of Deep Neural Networks

Jindong Gu, Volker Tresp|arXiv (Cornell University)|Oct 21, 2019

Explainable Artificial Intelligence (XAI)参考文献 33被引用数 7

ひとこと要約

この論文は、深層ニューラルネットワークの特徴空間内のベクトルと人間が理解可能な意味的コンセプトを関連付ける手法を提案し、そのマッピングを最適化問題として定式化する。得られる意味的ベクトル（SeVecs）により、学習された知識のグローバルな解釈が可能となり、分類に特化したサリエンシー・マップの生成によってローカルな解釈性が向上し、ベースライン手法よりも局所化精度が優れている。

ABSTRACT

Deep neural networks (DNNs) with high expressiveness have achieved state-of-the-art performance in many tasks. However, their distributed feature representations are difficult to interpret semantically. In this work, human-interpretable semantic concepts are associated with vectors in feature space. The association process is mathematically formulated as an optimization problem. The semantic vectors obtained from the optimal solution are applied to interpret deep neural networks globally and locally. The global interpretations are useful to understand the knowledge learned by DNNs. The interpretation of local behaviors can help to understand individual decisions made by DNNs better. The empirical experiments demonstrate how to use identified semantics to interpret the existing DNNs.

研究の動機と目的

• 深層ニューラルネットワークにおける解釈不能性の問題に対処し、分散特徴表現と人間が理解可能な意味的コンセプトを結びつけること。
• 意味的コンセプトと特徴空間のベクトルとの間の関連付けを最適化問題として定式化し、グローバルおよびローカルな解釈性を向上させること。
• 学習された意味的ベクトルを用いて、個々の予測におけるサリエンシー・マップの判別性を高めること。
• 意味的ベクトルが局所化精度と分類に特化した説明の質を向上させることの有効性を評価すること。

提案手法

• 意味的ベクトル（SeVecs）の同定を、ある意味的コンセプトを含む画像の特徴表現が、特徴空間内の学習済みベクトルと一致するように最適化問題として定式化する。
• 類似度関数 f(ϕ(x), v_c) を用いて、深層特徴表現 ϕ(x) がコンセプト c の意味的ベクトル v_c とどの程度一致するかを測定する。
• 最適化プロセスは、基底ベクトル e_f^i の線形結合により v_c を形成し、コンセプト c を含む画像が v_c によって最大に活性化されるようにする。
• バックプロパゲーションに基づく説明手法に SeVecs を組み込むことで、サリエンシー・マップを改善し、分類に特化した局所化を強化する。
• サリエンシー・マップの性能を定量的に評価するための一般化されたポイント・ゲームを導入し、マップの上位 m% のエネルギーをしきい値として設定し、正解の物体バウンディングボックスと比較する。
• グローバルな解釈性とローカルな説明品質の評価のために、ImageNet の ILSVRC 開発セットに事前学習済みのモデル（AlexNet および VGG16）に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、深層ニューラルネットワークの分散特徴表現と意味的コンセプトを体系的に関連付けることができるか？
• RQ2 同定された意味的ベクトルは、DNN が学習した知識のグローバルな解釈性をどの程度向上させるか？
• RQ3 意味的ベクトルは、個々の予測におけるサリエンシー・マップの判別性を向上させることができるか？
• RQ4 意味的ベクトルに基づくサリエンシー・マップの性能は、ベースライン手法と比較して、局所化精度でどの程度優れているか？

主な発見

• 提案手法は、AlexNet および VGG16 の両モデルにおいて、ベースラインのサリエンシー手法（例：Guided Backpropagation、Gradient*Input）よりも一貫して局所化精度が優れている。
• 平均して、一般化されたポイント・ゲームでは、0% から 100% のすべてのエネルギーしきい値において、意味的ベクトルを用いて生成されたサリエンシー・マップがより高い局所化精度を維持している。
• 意味的ベースのサリエンシー・マップは顕著に分類に特化しており、予測クラスに関連する特徴を的確に強調しながら、類似クラスからの関係のない特徴を抑制している。
• 本手法により、既存の DNN が色情報の利用を不十分に行っていること、および非常に多様なコンセプトに対して苦労していることが明らかになった。これは、現在のアーキテクチャにおける制限を示している。
• 最適化に基づく SeVec 学習プロセスにより、意味的コンセプト間の関係（例：'striped' と 'zebra' の関係）を定量的に解釈可能に明らかにできる。
• 本手法は単一のバックプロパゲーション・パスで実行可能であり、特徴可視化のための反復的バックプロパゲーションに依存する従来手法よりも効率的である。