[論文レビュー] Concept Activation Regions: A Generalized Framework For Concept-Based Explanations

Jonathan Crabbé, Mihaela van der Schaar|arXiv (Cornell University)|Sep 22, 2022

Explainable Artificial Intelligence (XAI)被引用数 16

ひとこと要約

本稿では、従来のCAVの線形分離可能性仮定を緩和するため、カーネルベースのサポートベクタークラスファイアを用いて深層ニューラルネットワークの潜在空間における概念を領域としてモデル化する一般化されたフレームワーク、Concept Activation Regions (CAR) を導入する。CARは説明の正確性を向上させ、人間の概念アノテーションとより整合性が高く、意味的な概念ベースの特徴重要度を可能にし、前立腺がんのグレーディングといった科学的概念の再発見を示している。

ABSTRACT

Concept-based explanations permit to understand the predictions of a deep neural network (DNN) through the lens of concepts specified by users. Existing methods assume that the examples illustrating a concept are mapped in a fixed direction of the DNN's latent space. When this holds true, the concept can be represented by a concept activation vector (CAV) pointing in that direction. In this work, we propose to relax this assumption by allowing concept examples to be scattered across different clusters in the DNN's latent space. Each concept is then represented by a region of the DNN's latent space that includes these clusters and that we call concept activation region (CAR). To formalize this idea, we introduce an extension of the CAV formalism that is based on the kernel trick and support vector classifiers. This CAR formalism yields global concept-based explanations and local concept-based feature importance. We prove that CAR explanations built with radial kernels are invariant under latent space isometries. In this way, CAR assigns the same explanations to latent spaces that have the same geometry. We further demonstrate empirically that CARs offer (1) more accurate descriptions of how concepts are scattered in the DNN's latent space; (2) global explanations that are closer to human concept annotations and (3) concept-based feature importance that meaningfully relate concepts with each other. Finally, we use CARs to show that DNNs can autonomously rediscover known scientific concepts, such as the prostate cancer grading system.

研究の動機と目的

• 従来のConcept Activation Vectors (CAVs) が潜在空間における概念正例と負例の線形分離可能性を仮定しているという限界を是正すること。
• 潜在空間における単一の方向ではなく、空間的領域として概念をモデル化するより柔軟で一般化されたフレームワークの開発。
• 概念同士の関係を意味的に関連付けることのできる、グローバルな概念説明とローカルな概念ベースの特徴重要度の両方の提供。
• 潜在空間の等長変換に対して不変性を確保することで、説明のロバスト性と一貫性の向上。
• CARが概念の意味を捉える能力、人間のアノテーションとの整合性、科学的概念の自律的発見能力を実証的に検証すること。

提案手法

• CAVにおける線形分類器をカーネルベースのサポートベクタークラスファイア（SVC）に置き換え、潜在空間における概念境界を非線形領域としてモデル化。
• 径路基底関数（RBF）カーネルを用いて概念活性化領域（CARs）を定義し、散在または凝集した概念例をモデル化可能にする。
• RBFカーネルを用いたSVCの出力をTCARスコアとして定義し、表現が特定の概念にどの程度活性化されているかを測定。
• CARを既存のsalience手法と統合し、特定の概念に関連する特徴を強調する概念特化型salienceマップを生成。
• RBFカーネルを用いたCAR説明が潜在空間の等長変換に対して不変であることを証明し、幾何学的整合性を保証。
• MNIST、ECG、CUBといった実世界のデータセットにCARを適用し、CAVsおよび通常のsalienceマップと比較して性能と人間との整合性を評価。

実験結果

リサーチクエスチョン

• RQ1 CAVの線形分離可能性仮定を越えて、潜在空間における概念を領域としてモデル化することで、概念ベースの説明フレームワークが一般化可能かどうか。
• RQ2 CARにおけるカーネルベースSVCの使用が、CAVと比較してグローバルな概念説明の正確性と人間との整合性をどの程度向上させるか。
• RQ3 CARベースのsalienceマップは、通常のsalienceマップと比較して、異なる概念に対して意味的で交換不能な特徴重要度をどの程度明らかにするか。
• RQ4 CARフレームワークは潜在空間の等長変換に対して不変であるか。これにより、幾何的に同等の表現間で一貫した説明が保証されるか。
• RQ5 CARは、深層ニューラルネットワークのモデル表現から、前立腺がんのグレーディングシステムといった既知の科学的概念を自律的に再発見できるか。

主な発見

• 図11および図12の10個のランダムシードのボックスプロットから、MNISTおよびECGの概念において、CAVよりもCARが高い分類精度を達成している。
• 図13および図14のMNISTおよびCUBデータセットにおける結果から、グローバルなCAR説明はCAVよりも人間の概念アノテーションとより整合性が高くなっている。
• 図15～19の結果から、CARを用いて生成された概念特化型salienceマップは、通常のsalienceマップとは異なり、概念間で交換不能であることが示された。
• RBFカーネルを用いた場合、CARベースの説明は潜在空間の等長変換に対して不変であり、幾何学的ロバスト性が裏付けられた。
• CARは、DNN内での前立腺がんグレーディングシステムを的確に同定・説明でき、既知の科学的概念を自律的に再発見できる能力を示した。