[論文レビュー] This Looks Like Those: Illuminating Prototypical Concepts Using Multiple Visualizations

Chiyu Ma, Brandon Zhao+2 more|arXiv (Cornell University)|Oct 28, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

この論文では、同一の代表的概念の複数の可視化を用いることで、プロトタイプベースの画像分類における解釈可能性を向上させるProtoConceptsという手法を紹介している。単一の画像プロトタイプに代えて、同じ代表的概念の複数の視覚的表現を用いることで、複数の学習パッチに共通する視覚的特徴を示すことで、意味的意味（例：色や形状）を明確にし、分類精度と同等の水準を維持しつつ、人間による解釈の正確性を著しく向上させる。

ABSTRACT

We present ProtoConcepts, a method for interpretable image classification combining deep learning and case-based reasoning using prototypical parts. Existing work in prototype-based image classification uses a ``this looks like that'' reasoning process, which dissects a test image by finding prototypical parts and combining evidence from these prototypes to make a final classification. However, all of the existing prototypical part-based image classifiers provide only one-to-one comparisons, where a single training image patch serves as a prototype to compare with a part of our test image. With these single-image comparisons, it can often be difficult to identify the underlying concept being compared (e.g., ``is it comparing the color or the shape?''). Our proposed method modifies the architecture of prototype-based networks to instead learn prototypical concepts which are visualized using multiple image patches. Having multiple visualizations of the same prototype allows us to more easily identify the concept captured by that prototype (e.g., ``the test image and the related training patches are all the same shade of blue''), and allows our model to create richer, more interpretable visual explanations. Our experiments show that our ``this looks like those'' reasoning process can be applied as a modification to a wide range of existing prototypical image classification networks while achieving comparable accuracy on benchmark datasets.

研究の動機と目的

• モデルの推論を理解するうえで障害となる単一画像プロトタイプの可視化における曖昧さを解消すること。
• 複数の例示例における共通する特徴を通じて、ユーザーが意味的コンセプトを推論できるようにすることで、プロトタイプベースの画像分類器の解釈可能性を向上させること。
• 分類精度を高く維持しつつ、視覚的説明の明確さと信頼性を向上させること。
• 複数の可視化を持つプロトタイプが、モデル意思決定の解釈においてユーザーのパフォーマンスを向上させるかどうかを評価すること。
• 既存のプロトタイプベースのネットワークに広く適用可能な汎用的な手法を提供すること。

提案手法

• 単一画像プロトタイプを、同じ意味的特徴を共有する複数の学習画像パッチで構成されるマルチパッチ可視化に置き換える。
• プロトタイプは、同じクラスの特徴パッチに類似し、他のクラスのものとは類似しないように学習されるが、今や1つの概念に対して複数の例示例が存在する。
• 同じ概念の複数の可視化からの類似度スコアを統合するように変更されたアーキテクチャをモデルが使用し、意思決定の透明性を向上させる。
• 複数の可視化における共通性（例：一貫した色や形状）が、分類に使用されている潜在的な意味的特徴をユーザーが推論するのを助ける。
• 既存のプロトタイプネットワーク（例：ProtoPNet）と互換性があり、モジュール的な拡張として適用可能である。
• Amazon Mechanical Turkを用いたユーザー研究を通じて、ProtoPNetとProtoConceptsの間での解釈パフォーマンスを比較した。

実験結果

リサーチクエスチョン

• RQ1 1つのプロトタイプの複数の可視化は、ユーザーがモデル意思決定を解釈する能力を向上させることができるか？
• RQ2 複数の例示例に共通する視覚的特徴を提供することで、プロトタイプが表す視覚的性質（例：色、形状）の曖昧さが低下するか？
• RQ3 複数の可視化を持つプロトタイプアプローチは、単一プロトタイプ手法と同等の分類精度を維持できるか？
• RQ4 この新手法は、微細な画像分類タスクにおける非専門家のユーザーのパフォーマンスをどの程度向上させるか？
• RQ5 実世界のユーザー評価において、ProtoConceptsの解釈可能性はProtoPNetと比べてどの程度優れているか？

主な発見

• ProtoConceptsの視覚的説明を受けたユーザーは平均62.1% ± 5.4の正確性を示し、ProtoPNetの説明を受けたユーザー（51.5% ± 5.2）を有意に上回り、p値は0.003であった。
• ProtoPNetの説明に依存するユーザーは、ランダムな当てずっぽうのパフォーマンス（p = 0.289）を上回らなかったが、ProtoConceptsの説明を受けたユーザーはランダム性能を著しく上回った（p = 2.85 × 10⁻⁵）。
• ユーザー調査では品質チェックに98%の承認率が得られ、無意味な回答が除外された1件を除き、全回答が有効とされた。
• 2つのユーザー群間で機械学習経験の自己評価に有意な差は認められず（p = 1）、公平な比較が保証された。
• この手法は、既存のプロトタイプネットワークと同等の分類精度を達成しながら、視覚的説明の解釈可能性を著しく向上させた。
• 複数の可視化アプローチにより、単一プロトタイプ手法よりも、意味的コンセプト（例：「同じ濃い青」）をより信頼性高く推論できるようになった。