[論文レビュー] Multi-dimensional concept discovery (MCD): A unifying framework with completeness guarantees

Johanna Vielhaben, Stefan Blücher+1 more|arXiv (Cornell University)|Jan 27, 2023

Rough Sets and Fuzzy Logic被引用数 12

ひとこと要約

この論文は Multi-dimensional Concept Discovery (MCD) を紹介します。これは隠れたモデル表現で多次元の概念を発見する稀疎部分空間クラスタリングを用いたフレームワークで、モデル推論の完全でグローバルに解釈可能な分解を割り当て、概念活性マップと関係性ヒートマップを提供して、信頼性の高い XAI 説明を実現します。

ABSTRACT

The completeness axiom renders the explanation of a post-hoc XAI method only locally faithful to the model, i.e. for a single decision. For the trustworthy application of XAI, in particular for high-stake decisions, a more global model understanding is required. Recently, concept-based methods have been proposed, which are however not guaranteed to be bound to the actual model reasoning. To circumvent this problem, we propose Multi-dimensional Concept Discovery (MCD) as an extension of previous approaches that fulfills a completeness relation on the level of concepts. Our method starts from general linear subspaces as concepts and does neither require reinforcing concept interpretability nor re-training of model parts. We propose sparse subspace clustering to discover improved concepts and fully leverage the potential of multi-dimensional subspaces. MCD offers two complementary analysis tools for concepts in input space: (1) concept activation maps, that show where a concept is expressed within a sample, allowing for concept characterization through prototypical samples, and (2) concept relevance heatmaps, that decompose the model decision into concept contributions. Both tools together enable a detailed understanding of the model reasoning, which is guaranteed to relate to the model via a completeness relation. This paves the way towards more trustworthy concept-based XAI. We empirically demonstrate the superiority of MCD against more constrained concept definitions.

研究の動機と目的

• 高リスクな意思決定における局所的寄与だけでなく、グローバルなモデル理解を促進する。
• 多次元線形部分空間（D4）と完全性関係を用いた一般的で忠実な概念の定義を提案する。
• Sparse Subspace Clustering と PCA を用いた概念部分空間を特定する実用的な発見パイプラインを開発する。
• 完全性を保持しつつ、入力空間で概念を分析するツール（活性マップと関係性ヒートマップ）を提供する。
• ImageNet モデルにおける制約付き概念定義に対する MCD の優位性を実証する。

提案手法

• 概念を F 次元の隠れ特徴空間における d^l 次元の線形部分空間 C^l として定義する。
• 近接性や事前設定次元に依存せず、特徴ベクトルを部分空間にクラスタリングするために Sparse Subspace Clustering (SSC) を用いる。
• PCA によって各クラスターの概念基底を構築し、固有の部分空間次元 d^l を Fukunaga–Olsen によるヒューリスティックで決定する。
• 新規サンプルの活性を、直交補行分解成分 C^⊥ を含む完全な基底を用いて概念寄与へ分解する。
• 入力空間で概念表現を局在化するための概念活性マップを計算し、共通基底への投影によって得られる概念関連ヒートマップを導出する。
• 概念が最終予測をどれだけ説明するかを定量化するグローバルな概念関連スコア η を定義する（完全性）。

実験結果

リサーチクエスチョン

• RQ1 多次元部分空間概念は完全性保証付きでモデルの推論を忠実に分解できるか？
• RQ2 多次元概念は一次元/直交概念よりもグローバルな説明をより簡潔に提供できるか？
• RQ3 ローカル（個々のサンプルごと）およびグローバルなレベルで概念の影響を視覚化・定量化するにはどうすればよいか？
• RQ4 異なる概念発見バリアント（MCD-SSC、MCD-kmeans、ICE/MCD-PCA、MCD-SSC-orth）の完全性と忠実性への影響は？
• RQ5 概念活性マップと関係性ヒートマップは、視覚系トランスフォーマーを含むアーキテクチャ全体に適用可能で、線形最終層と互換性があるか？

主な発見

• MCD は、最終予測が概念関連性から完全に再構成できる完全性分解を達成する。
• 多次元概念は、制約付き定義（D1-D3）よりも、ある程度の完全性を達成するのに必要な概念数が少なく、より簡潔な説明を提供する。
• 概念活性マップは、入力空間における概念の表現位置を局所化し、プロトタイプと対になって解釈につながる。
• 概念関連ヒートマップは、クラスロジットを概念寄与に分解し、グローバルな完全性関係を保持する。
• 本フレームワークは ImageNet モデル（ResNet-50、ResNet-50v2、Swin-T）で実証され、さまざまな概念発見バリアントをサポートする。
• 正交部分空間（MCD-SSC-orth）は、任意に回転した部分空間よりもモデルへの忠実度が低いことが判明した。