[論文レビュー] Representativity and Consistency Measures for Deep Neural Network Explanations

Thomas Fel, David Vigouroux|arXiv (Cornell University)|Sep 4, 2020

Explainable Artificial Intelligence (XAI)参考文献 36被引用数 10

ひとこと要約

本論文は、深層ニューラルネットワークの説明の品質を客観的に評価するための2つの新しいアルゴリズム的安定性に基づく指標——平均一般化性（MeGe）と相対的一致性（ReCo）——を導入する。k-foldクロストレーニングを用いて安定性を評価することで、著者らは、同等の精度を示すにもかかわらず、1-Lipschitzネットワークが標準ネットワークよりもはるかに一般化性が高く一貫性のある説明を生成することを示した。これは、より信頼できるAIシステムへの有望な道筋を示している。

ABSTRACT

A plethora of methods have been proposed to explain how deep neural networks reach their decisions but comparatively, little effort has been made to ensure that the explanations produced by these methods are objectively relevant. While several desirable properties for trustworthy explanations have been formulated, objective measures have been harder to derive. Here, we propose two new measures to evaluate explanations borrowed from the field of algorithmic stability: mean generalizability MeGe and relative consistency ReCo. We conduct extensive experiments on different network architectures, common explainability methods, and several image datasets to demonstrate the benefits of the proposed measures.In comparison to ours, popular fidelity measures are not sufficient to guarantee trustworthy explanations.Finally, we found that 1-Lipschitz networks produce explanations with higher MeGe and ReCo than common neural networks while reaching similar accuracy. This suggests that 1-Lipschitz networks are a relevant direction towards predictors that are more explainable and trustworthy.

研究の動機と目的

• 深層ニューラルネットワークの説明に対する客観的で信頼できる評価指標の欠如に取り組む。
• 説明の安定性や信頼性を評価できない既存の適合度ベースの指標の限界を特定する。
• 一般化性と一貫性を評価する、アルゴリズム的安定性に基づく指標（MeGeおよびReCo）を提案する。
• 1-Lipschitz正則化のようなアーキテクチャ的制約が説明の品質に与える影響を調査する。
• 1-Lipschitzネットワークが、精度を犠牲にせずともより安定的かつ信頼性の高い説明を生成することを示す。

提案手法

• 同じクラスに属する正しく分類された画像に対して、説明が一貫して類似した特徴を指し示すかどうかを測る指標として、平均一般化性（MeGe）を提案する。
• 誤分類された画像の説明が、正しく分類されたものと顕著に異なるかどうかを評価するため、相対的一致性（ReCo）を導入する。
• k-foldクロストレーニングを用い、訓練データの異なるサブセットで複数の予測器を学習させ、同じ入力に対する説明を比較することで、MeGeおよびReCoを推定する。
• CIFAR-10およびImageNetを含む複数のデータセット、さまざまな説明手法（例：Grad-CAM、SmoothGrad、Grad-Input）およびアーキテクチャを用いて、指標を適用する。
• Deel-Lipライブラリを用いて1-Lipschitzニューラルネットワークを訓練し、MeGeおよびReCoスコアに与える影響を評価する。
• 説明類似度スコア（S= および S≠）のヒストグラム分析を用い、1-Lipschitzモデルにおける一貫性および一般化性の向上を視覚的に検証する。

実験結果

リサーチクエスチョン

• RQ1 一般化性や一貫性といったアルゴリズム的安定性指標は、深層学習の説明の信頼性を評価するための信頼できる客観的指標として機能するか？
• RQ2 MeGeおよびReCoと比較して、既存の適合度ベースの指標は、信頼できる説明を特定する上でどの程度効果的か？
• RQ3 1-Lipschitzニューラルネットワークは、標準的な深層ネットワークよりもより安定的かつ一般化性に優れた説明を生成するか？
• RQ4 有界なリプシッツ定数を持つアーキテクチャを用いることで、説明品質に測定可能な向上が見られるか？
• RQ5 MeGeおよびReCoは、人間の解釈可能性およびモデルの信頼性とどの程度相関しているか？

主な発見

• 1-Lipschitzネットワークは、すべての説明手法において、標準のResNet-18モデルよりも顕著に高い平均一般化性（MeGe）スコアを達成しており、Grad-CAM++ではMeGeが0.58から0.72に上昇した。
• 相対的一致性（ReCo）スコアは1-Lipschitzモデルで顕著に向上し、Grad-CAM++では0.11から0.60に、SmoothGradでは0.15から0.90に上昇した。
• MeGeおよびReCoの向上は、Grad-CAM、SmoothGrad、Integrated Gradientsを含む複数の説明手法にわたり一貫しており、アーキテクチャ全体に広がる利点を示している。
• ヒストグラム分析により、1-LipschitzモデルではS= および S≠ の分布が明確に分離していることが確認され、一貫性および一般化性の向上が視覚的に裏付けられた。
• 精度は78±4%と同等であったにもかかわらず、1-Lipschitzネットワークはより安定的かつ信頼性の高い説明を生成した。これは、アーキテクチャ的制約が性能に依存せずに説明の質を向上させられることを示唆している。
• 適合度だけでは信頼できる説明を保証できない。高適合度の手法であっても、不安定または一般化されない説明を生成する可能性がある。