[論文レビュー] Evaluation and Improvement of Interpretability for Self-Explainable Part-Prototype Networks

Qihan Huang, Mengqi Xue+5 more|arXiv (Cornell University)|Dec 12, 2022

Machine Learning in Materials Science被引用数 4

ひとこと要約

本稿では、2つの新規指標、一貫性スコアと安定性スコアを用いて、部品プロトタイプネットワークにおける解釈可能性の定量的ベンチマークを提案する。洗練されたProtoPNetに、浅い・深い特徴マップのアライメント（SDFA）モジュールとスコア集約（SA）モジュールを導入し、3つのベンチマークで、精度と解釈可能性の両面で最先端の性能を達成。特に、プロトタイプの一貫性と耐性の面で顕著な向上を示した。

ABSTRACT

Part-prototype networks (e.g., ProtoPNet, ProtoTree, and ProtoPool) have attracted broad research interest for their intrinsic interpretability and comparable accuracy to non-interpretable counterparts. However, recent works find that the interpretability from prototypes is fragile, due to the semantic gap between the similarities in the feature space and that in the input space. In this work, we strive to address this challenge by making the first attempt to quantitatively and objectively evaluate the interpretability of the part-prototype networks. Specifically, we propose two evaluation metrics, termed as consistency score and stability score, to evaluate the explanation consistency across images and the explanation robustness against perturbations, respectively, both of which are essential for explanations taken into practice. Furthermore, we propose an elaborated part-prototype network with a shallow-deep feature alignment (SDFA) module and a score aggregation (SA) module to improve the interpretability of prototypes. We conduct systematical evaluation experiments and provide substantial discussions to uncover the interpretability of existing part-prototype networks. Experiments on three benchmarks across nine architectures demonstrate that our model achieves significantly superior performance to the state of the art, in both the accuracy and interpretability. Our code is available at https://github.com/hqhQAQ/EvalProtoPNet.

研究の動機と目的

• 部品プロトタイプネットワークにおける解釈可能性の客観的・定量的評価の欠如に応えること。現状、主に主観的な可視化や人間による評価に依存している。
• 2つの解釈可能性の根本的欠陥を同定・定量化すること：一貫性（異なる画像で同じオブジェクト部品にプロトタイプが対応しないこと）と不安定性（微小な入力摂動に対して同じ部品に異なる対応を示すこと）。
• データセットレベルのオブジェクト部品アノテーションを用いて、再現可能で客観的な評価フレームワークを構築し、プロトタイプの解釈可能性を評価すること。
• アーキテクチャ的革新を通じて、部品プロトタイプネットワークの解釈可能性を向上させること。特に、プロトタイプの一貫性と耐性を強化すること。
• 定性的な可視化にとどまらない、自己説明モデルの評価と発展を促進するベンチマークを確立すること。

提案手法

• プロトタイプが異なる画像においても同じオブジェクト部品に一貫して活性化されるかを定量化するための一貫性スコア指標を提案。これは、正解の部品アノテーションとの空間的整合性に基づく。
• 微小な入力摂動（敵対的または自然な摂動）下でも、プロトタイプが同じ部品に一貫して活性化されるかを測定する安定性スコア指標を導入。
• 浅い特徴マップと深い特徴マップ間の空間的類似構造をアライメントするための、浅い・深い特徴マップのアライメント（SDFA）モジュールを設計。深層特徴における空間的情報を保持する。
• 各カテゴリに割り当てられたプロトタイプの活性化を集中させるスコア集約（SA）モジュールを開発。他のカテゴリからの干渉を低減。
• SDFAおよびSAモジュールを改訂されたProtoPNetアーキテクチャに適用。これにより、特徴表現とプロトタイプマッチングの正確性が向上。
• コサイン類似度と空間的類似度マッチング（式10を介して）を用いて、浅い特徴と深い特徴間の構造的アライメントを計算。類似度メトリックは $\mathrm{Sim}(t(z_{s}),t(z_{d}))=\frac{1}{\tilde{Z}}\sum\limits_{i=0}^{\tilde{Z}-1}e^{-\|t_{i}(z_{s})-t_{i}(z_{d})\|^{2}}$ で定義される。

Figure 1 : (a) Inconsistency. A prototype may mistakenly correspond to different object parts in different images. (b) Instability. A prototype may mistakenly correspond to different object parts in the original image and the slightly perturbed image. The samples are from ProtoPNet trained on ResNet

実験結果

リサーチクエスチョン

• RQ1 既存の部品プロトタイプネットワークは、異なる画像間で、プロトタイプがオブジェクト部品に一貫して対応していると言えるか？
• RQ2 微小な入力摂動に対して、部品プロトタイプネットワークのプロトタイプの意味的解釈はどの程度頑健か？
• RQ3 アーキテクチャ的変更により、部品プロトタイプネットワークにおける説明の一致性と安定性を向上させられるか？
• RQ4 提案された評価指標（一貫性スコアと安定性スコア）は、定性的評価や人間による解釈可能性評価と比較して、どの程度優れているか？
• RQ5 特徴アライメントとスコア集約の影響は、部品プロトタイプネットワーク全体の精度と解釈可能性にどのような影響を及えるか？

主な発見

• 提案された一貫性スコアと安定性スコア指標は、既存の部品プロトタイプネットワークにおける解釈可能性の欠陥を効果的に定量化した。特に、プロトタイプが画像間で一貫した意味的対応を持たないことが明らかになった。
• SDFAモジュールは、浅い特徴マップと深い特徴マップ間の空間的類似性アライメントを顕著に改善し、CUB-200-2011データセットでResNet34を用いた場合、類似度スコアを12.4％から70.8％まで向上させた。
• SAモジュールは、他のカテゴリからの類似プロトタイプ数を最大で5.6ポイント削減（Dense121では6.2から11.8まで）し、カテゴリ間干渉を低減した。
• SDFAおよびSAモジュールを併用した完全なモデルは、最先端の性能を達成。ResNet34では一貫性スコアが58.4％向上、ResNet152では51.5％向上を達成。
• 可視化結果から、提案モデルのプロトタイプは、訓練画像およびテスト画像において一貫して同じオブジェクト部品（例：頭部）に活性化されるのに対し、ベースラインモデルでは注意が不規則的かつ一貫性のないことが確認された。
• 3つのベンチマーク（CUB-200-2011、Stanford Cars、PartImageNet）において、既存の部品プロトタイプネットワークを上回り、優れた精度と解釈可能性を示した。

Figure 2 : (a) Shallow feature maps of an image retain spatial information that deep feature maps lack (the features are from one channel of the feature map). (b) A prototype from Chipping Sparrow tends to match the wing, but meanwhile it has to paradoxically ignore almost the same wing of Field Spa