[論文レビュー] Explaining Neural Networks Semantically and Quantitatively

Runjin Chen, Hao Chen+3 more|arXiv (Cornell University)|Dec 18, 2018

Explainable Artificial Intelligence (XAI)参考文献 13被引用数 5

ひとこと要約

本稿では、事前に定義された視覚的コンセプトからの寄与を分解することで、畳み込みニューラルネットワーク（CNN）の予測スコアを意味的かつ定量的に説明するための知識蒸留手法を提案する。解釈可能な加法的説明ネットワークを訓練することで、バイアス解釈問題を低減し、ベースラインの蒸留手法よりもより正確で意味的に明確かつ定量的に正確な説明を達成する。

ABSTRACT

This paper presents a method to explain the knowledge encoded in a convolutional neural network (CNN) quantitatively and semantically. The analysis of the specific rationale of each prediction made by the CNN presents a key issue of understanding neural networks, but it is also of significant practical values in certain applications. In this study, we propose to distill knowledge from the CNN into an explainable additive model, so that we can use the explainable model to provide a quantitative explanation for the CNN prediction. We analyze the typical bias-interpreting problem of the explainable model and develop prior losses to guide the learning of the explainable additive model. Experimental results have demonstrated the effectiveness of our method.

研究の動機と目的

• 予測の意味的明確性と定量的正確性の両面でCNNの予測を説明する挑戦に応えること。これは、定性的またはピクセルレベルの説明を超えるものである。
• 元のCNNの性能や識別力に影響を与えることなく、各予測の背後にある根拠を説明する手法を開発すること。
• 説明者が関係のないまたは支配的である視覚的コンセプトに誤って予測を帰属させるバイアス解釈問題を、構造的な事前損失によって軽減すること。
• 最終的な予測スコアにどの意味的コンセプトがどれだけ寄与しているかを明らかにすることで、CNN内の問題のある特徴表現の診断を可能にすること。
• CelebAなどの実世界のベンチマークを用いて、異なるCNNアーキテクチャーやタスクに広く適用可能であることを示すこと。

提案手法

• 事前に訓練済みの視覚的コンセプト検出器からの値成分に分解する加法的モデルとして、別個の解釈可能な説明ネットワークを訓練する。
• 入力画像の真値ラベルを一切使用せずに、説明ネットワークがパフォーマンスネットワークの出力スコアを模倣するように知識蒸留を用いて訓練する。
• 視覚的コンセプトの統計的性質（例：頻度、相関）に基づく事前損失を組み込み、帰属のバイアスを低減する。
• パフォーマンスネットワークの最初の全結合層の特徴を、説明ネットワークの共有入力特徴として使用することで、一貫性のある表現学習を可能にする。
• トレーニング中にパフォーマンスネットワークと説明ネットワークの予測スコアの差を最小化するため、L-2ノルム損失を適用する。
• 各コンセプト固有の寄与の和として説明ネットワークを設計することで、最終意思決定における各コンセプトの役割を定量的に解釈可能にする。

実験結果

リサーチクエスチョン

• RQ1 アノテーションデータに依存せずに、個々のCNN予測に対して意味的に明確かつ定量的に正確な説明を生成できるか？
• RQ2 支配的または誤った視覚的コンセプトに誤って予測を帰属させる、加法的説明モデルにおけるバイアス解釈問題をどのように軽減できるか？
• RQ3 パフォーマンスネットワークが誤った予測を行う場合でも、意味的コンセプトの真の寄与度を説明モデルがどれだけ正確に回復できるか？
• RQ4 選択された視覚的コンセプトの数が、説明モデルの説明能力と忠実度にどのように影響するか？
• RQ5 提案手法は、元のモデルの性能を損なわせることなく、さまざまなCNNアーキテクチャーやタスクに広く適用可能か？

主な発見

• 標準的な蒸留ベースラインと比較して、提案手法はバイアス解釈問題を顕著に低減しており、視覚的コンセプト間の寄与分布がよりバランス良く現実的であることが示された。
• 特にCNNが誤った相関関係に依存している場合に、提案手法による説明は真値の人間の解釈とよりよく一致している。
• より多くの視覚的コンセプトを使用することで説明能力が向上し、パフォーマンスネットワークと説明ネットワークのスコア間の相対的偏差が明確に減少することが実証された。
• CNNの意思決定が誤っている場合でも、局所的な顔貌特徴（例：「若々しい」「男性」「濃いメイク」）の寄与を正確に捉え、定量的に評価できる。
• 説明モデルは、人間の一般的な常識と矛盾する予測が、しばしば少数の支配的またはバイアスのある視覚的コンセプトに起因していることを明らかにすることで、問題のある特徴表現の診断が可能になる。
• 事前損失の使用により、分類精度と相対的偏差の両方の指標で改善が見られたことから、より情報量が多く代表的な説明が得られることを裏付けた。