[論文レビュー] Explain Any Concept: Segment Anything Meets Concept-Based Explanation

Ao Sun, Pingchuan Ma+2 more|arXiv (Cornell University)|May 17, 2023

Explainable Artificial Intelligence (XAI)被引用数 10

ひとこと要約

EACはSAMを用いた概念発見と軽量なPIEサロゲート、Shapley値を組み合わせて、任意の概念に対するDNNの決定を説明し、ImageNetとCOCOでベースラインと比較して忠実度と理解可能性を向上させます。

ABSTRACT

EXplainable AI (XAI) is an essential topic to improve human understanding of deep neural networks (DNNs) given their black-box internals. For computer vision tasks, mainstream pixel-based XAI methods explain DNN decisions by identifying important pixels, and emerging concept-based XAI explore forming explanations with concepts (e.g., a head in an image). However, pixels are generally hard to interpret and sensitive to the imprecision of XAI methods, whereas "concepts" in prior works require human annotation or are limited to pre-defined concept sets. On the other hand, driven by large-scale pre-training, Segment Anything Model (SAM) has been demonstrated as a powerful and promotable framework for performing precise and comprehensive instance segmentation, enabling automatic preparation of concept sets from a given image. This paper for the first time explores using SAM to augment concept-based XAI. We offer an effective and flexible concept-based explanation method, namely Explain Any Concept (EAC), which explains DNN decisions with any concept. While SAM is highly effective and offers an "out-of-the-box" instance segmentation, it is costly when being integrated into defacto XAI pipelines. We thus propose a lightweight per-input equivalent (PIE) scheme, enabling efficient explanation with a surrogate model. Our evaluation over two popular datasets (ImageNet and COCO) illustrate the highly encouraging performance of EAC over commonly-used XAI methods.

研究の動機と目的

• 視覚モデルの概念ベースの説明における忠実性、理解可能性、効率性に取り組み、オープンで解釈可能なAIを促進する。
• Segment Anything Model (SAM) を活用して、画像から自動的に人間が理解できる概念を抽出する。
• 効率的なShapley値ベースの説明を可能にする、入力ごとに軽量なPIEサロゲートを開発する。
• 任意の概念で予測を説明する一般的なパイプライン（EAC）を提供し、その有効性を評価する。

提案手法

• 各入力画像からSAMを用いて概念の集合Cを生成する。
• 対象モデルのFC層を共有するPIEサロゲートを訓練し、与えられた入力に対して対象モデルを近似して、効率的なShapley値計算を可能にする。
• モンテカルロサンプリングを用いて、対象予測に対して最も寄与する概念を特定するために概念レベルのShapley値を計算する。
• Shapley値ベースの有用さを最大化する概念のサブセットとして説明を形成し、選択された概念を強調するマスク画像を提示する。
• ImageNetとCOCOで挿入/削除AUC指標を用いて、忠実度の観点から、複数のベースライン（ピクセルベース、スーパーピクセルベース、概念ベース）とEACを比較する。
• 説明の理解可能性を評価する人間研究を実施し、PIEの効率と忠実性を検証するアブレーション研究を実施する。

実験結果

リサーチクエスチョン

• RQ1 SAM由来の概念は、視覚タスクにおけるDNNの決定について忠実で理解しやすい説明を提供できるか？
• RQ2 PIEサロゲートは、概念ベースの説明に対して効率的で正確なShapley値計算を可能にするか？
• RQ3 標準的なベンチマークと人間の判断において、EACは既存のピクセル、スーパーピクセル、および概念ベースのXAI手法とどのように比較されるか？

主な発見

Setting	EAC	DeepLIFT	GradSHAP	IntGrad	KernelSHAP	FeatAbl	LIME	DeepLIFT*	GradSHAP*	IntGrad*
ImageNet/Insertion	83.400	75.235	64.658	68.772	64.544	70.187	76.638	14.707	14.794	15.120
COCO/Insertion	83.404	78.199	61.109	65.037	54.570	72.260	79.028	8.580	21.643	19.755
ImageNet/Deletion	23.799	25.262	40.996	36.214	26.583	37.332	25.307	40.620	44.830	46.015
COCO/Deletion	16.640	17.026	34.038	30.074	20.054	26.535	17.337	49.697	35.302	38.148

• EACはImageNetで挿入AUCがベースラインより高く（83.400 vs 75.235）、COCOでも高く（83.404 vs 78.199）。
• 報告設定で、ImageNetの削除AUC（23.799）およびCOCOの削除AUC（16.640）でベースラインより高い。
• 人間の評価では、200枚中184枚（92.0%）でEACがすべてのベースラインより優位、184例中137例（74.5%）でEACが好まれた。
• PIEは計算時間を大幅に削減し、高いAUCを維持する（ImageNet挿入: PIE 81.78、245s vs Original >24時間；COCO挿入: PIE 87.08、252s）。
• アブレーションにより、PIEは線形サロゲートを上回り、パラメータ共有なしのPIEは性能が低下することを示し、PIE設計の重要性を強調している。