[論文レビュー] A Holistic Approach to Unifying Automatic Concept Extraction and Concept Importance Estimation

Thomas Fel, Victor Boutin+6 more|arXiv (Cornell University)|Jun 11, 2023

Explainable Artificial Intelligence (XAI)被引用数 9

ひとこと要約

論文は概念抽出を辞書学習として統一し、概念重要度を説明に結びつける形で扱い、局所的重要性と戦略的クラスタ視覚化を導入し、理論的保証と公開視覚化サイトを提供する。

ABSTRACT

In recent years, concept-based approaches have emerged as some of the most promising explainability methods to help us interpret the decisions of Artificial Neural Networks (ANNs). These methods seek to discover intelligible visual 'concepts' buried within the complex patterns of ANN activations in two key steps: (1) concept extraction followed by (2) importance estimation. While these two steps are shared across methods, they all differ in their specific implementations. Here, we introduce a unifying theoretical framework that comprehensively defines and clarifies these two steps. This framework offers several advantages as it allows us: (i) to propose new evaluation metrics for comparing different concept extraction approaches; (ii) to leverage modern attribution methods and evaluation metrics to extend and systematically evaluate state-of-the-art concept-based approaches and importance estimation techniques; (iii) to derive theoretical guarantees regarding the optimality of such methods. We further leverage our framework to try to tackle a crucial question in explainability: how to efficiently identify clusters of data points that are classified based on a similar shared strategy. To illustrate these findings and to highlight the main strategies of a model, we introduce a visual representation called the strategic cluster graph. Finally, we present https://serre-lab.github.io/Lens, a dedicated website that offers a complete compilation of these visualizations for all classes of the ImageNet dataset.

研究の動機と目的

• アクティベーションの解釈可能性を向上させるために概念抽出を辞書学習問題として formalize する。
• 概念空間における概念重要度を一般的な説明タスクとして再定義し、理論的保証を導出する。
• データクラスターを反映するモデルの共有戦略を特定するための局所的な概念重要性の notion を導入する。
• クラス戦略と誤分類を説明するための視覚・評価ツール（戦略的クラスタグラフ、Lens ウェブサイト）を開発する。

提案手法

• f を中間表現 a=h(x) を介して合成 g(h(x)) として定式化し、2 段階の概念抽出 (V, U) を研究し A ≈ U V^T（辞書学習）を成立させる。
• 辞書学習指標（Relative l2、Sparsity、Stability、FID、OOD）を用いて概念抽出法（K-Means、PCA、NMF）を評価する。
• 概念 ATtributions（CATs）を提案し、概念空間へ説明手法を拡張し、7 つの新しい CAT を定義する（派生は付録に記載）。
• 説明可能性の指標を説明付けから適用へ Adapt し、 penultimate 層における概念重要度の信頼性を評価するため C-Deletion、C-Insertion、C-μ Fidelity を適用する。
• 特定の CATs（例：Gradient Input、Integrated Gradients、Occlusion、RISE）について penultimate 層での C-Deletion/C-Insertion および C-μ Fidelity の最適性を貪欲法（マトロイド最適性）で理論的に証明する。
• 局所的（画像レベル）な重要性を導入し、概念重要度ベクトル φ(u) に基づく UMAP によってクラスタを特定し、戦略的クラスタリングの普及度と信頼性を定義する。

Figure 1 : Strategic cluster graphs for the espresso and zucchini classes. The framework presented in this study provides a comprehensive approach to uncover local importance using any attribution methods. Consequently, it allow us to estimate the critical concepts influencing the model’s decision f

実験結果

リサーチクエスチョン

• RQ1 概念抽出を辞書学習の下で効果的に統一し、意味のある比較可能な概念基底 V を得られるか。
• RQ2 概念空間における概念重要度をどのように定義・評価し得るか、またこの枠組みでどの説明手法が最適か。
• RQ3 局所的な画像レベルの重要性指標は、サンプル間でモデルの共有戦略を反映する interpretable なクラスタを明らかにするか。
• RQ4 特に penultimate 層における概念重要度手法に対する理論的保証は何か、手法間でどのように比較されるか。

主な発見

Method	Relative l2 (Eff / R50 / Mob)	Sparsity (Eff / R50 / Mob)	Stability (Eff / R50 / Mob)	FID (Eff / R50 / Mob)	OOD (Eff / R50 / Mob)
PCA	0.60 / 0.54 / 0.73	0.00 / 0.00 / 0.0	0.41 / 0.38 / 0.43	0.47 / 0.17 / 0.24	2.44 / 0.36 / 0.16
KMeans	0.72 / 0.66 / 0.84	0.95 / 0.95 / 0.95	0.07 / 0.08 / 0.04	0.46 / 0.21 / 0.33	1.76 / 0.29 / 0.15
NMF	0.63 / 0.57 / 0.75	0.68 / 0.44 / 0.64	0.17 / 0.14 / 0.16	0.38 / 0.21 / 0.24	1.98 / 0.29 / 0.15

• penultimate 層の NMF は PCA および K-Means と比較して再構成質、スパース性、分布内忠実度のバランスが良好である。
• いくつかの CATs（Gradient Input、Integrated Gradients、Occlusion、RISE）は penultimate 層における C-Deletion/C-Insertion および C-μ Fidelity に対して理論的に最適である。
• より強力な局所的な（画像レベルの）重要性は、戦略クラスタグラフの構築を可能にし、モデルがクラス認識に用いる主な戦略を明らかにする。
• 専用の視覚化（Lens）と戦略的クラスタグラフは、ImageNet クラス全体にわたるモデル戦略を要約・伝達するのに役立つ。
• このフレームワークは、概念抽出手法を比較するための辞書学習と説明付けの指標を提供し、概念重要度へ信頼性評価を拡張する。

Figure 2 : Most important concepts extracted for the studied methods. This qualitative example shows the three most important concepts extracted for the ’rabbit’ class using a ResNet50 trained on ImageNet. The crops correspond to those maximizing each concepts $i$ (i.e., $\bm{x}$ where $\mathbf{U}(\