[論文レビュー] Sanity checks and improvements for patch visualisation in prototype-based image classification

Romain Xu-Darme, Georges Quénot+2 more|arXiv (Cornell University)|Jan 20, 2023

Cell Image Analysis TechniquesBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

この論文は、ProtoPNet や ProtoTree などのプロトタイプベースのモデルで用いられるパッチ可視化手法に重大な欠陥が存在することを特定し、しばしば関連のない画像領域に注目が向けられることを示している。SmoothGrad や PRP といったサリエンシー手法を用いて、より忠実な帰属割り当てが可能であることを実証し、CUB-200-2011 や Stanford Cars といった細分化されたデータセットにおける説明の信頼性を向上させ、誤ったバイアスを低減している。

ABSTRACT

In this work, we perform an in-depth analysis of the visualisation methods implemented in two popular self-explaining models for visual classification based on prototypes - ProtoPNet and ProtoTree. Using two fine-grained datasets (CUB-200-2011 and Stanford Cars), we first show that such methods do not correctly identify the regions of interest inside of the images, and therefore do not reflect the model behaviour. Secondly, using a deletion metric, we demonstrate quantitatively that saliency methods such as Smoothgrads or PRP provide more faithful image patches. We also propose a new relevance metric based on the segmentation of the object provided in some datasets (e.g. CUB-200-2011) and show that the imprecise patch visualisations generated by ProtoPNet and ProtoTree can create a false sense of bias that can be mitigated by the use of more faithful methods. Finally, we discuss the implications of our findings for other prototype-based models sharing the same visualisation method.

研究の動機と目的

• プロトタイプベースの画像分類モデル（例：ProtoPNet や ProtoTree）におけるパッチ可視化の信頼性を調査すること。
• 現在用いられている可視化手法が、モデルの注目と意思決定プロセスを正確に反映しているかどうかを評価すること。
• オブジェクトレベルのセグメンテーションアノテーションを活用して、より忠実な関連性メトリックを提案・検証すること。
• バックボーンアーキテクチャ（例：VGG19 と ResNet50）がプロトタイプの忠実性とバイアスに与える影響を評価すること。
• 同様の可視化技術に依存する自己説明型モデルに対する広範な意味の影響を強調すること。

提案手法

• 著者らは、2つの細分化されたデータセット（CUB-200-2011 と Stanford Cars）を用いて、可視化の忠実性を評価した。
• 標準的なアップサンプリングに基づく可視化と、サリエンシー手法（SmoothGrad と PRP（Pruning Relevance Propagation））を比較した。
• 真のオブジェクトセグメンテーションマスクを活用して、プロトタイプとテストパッチが正しいオブジェクト領域に注目しているかどうかを評価する、新たな関連性メトリックを導入した。
• 関連する画像領域を削除した際のモデルの信頼度の低下を定量的に評価するためのデリートメトリックを適用し、説明の忠実性を測定した。
• プロトタイプ関連性と可視化品質に与える影響を評価するために、複数のバックボーンアーキテクチャ（VGG19 と ResNet50）を評価した。
• 可視化パイプラインを共有する他のモデル（例：ProtoPShare、ProtoPool、Deformable ProtoPNet、TesNet）に対しても分析を拡張した。

実験結果

リサーチクエスチョン

• RQ1 ProtoPNet や ProtoTree における標準的なパッチ可視化手法は、テスト画像およびプロトタイプにおける関心領域を正確に局在化できているか？
• RQ2 SmoothGrad や PRP といったサリエンシー手法は、アップサンプリングと比較して、モデルの実際の意思決定プロセスにどの程度忠実であるか？
• RQ3 オブジェクトレベルのセグメンテーションマスクを用いることで、プロトタイプ関連性の評価がどの程度向上し、説明における誤ったバイアスが低減されるか？
• RQ4 バックボーンアーキテクチャの選択（例：VGG19 と ResNet50）が、可視化されたパッチの忠実性と信頼性にどのように影響するか？
• RQ5 ProtoPNet や ProtoTree で観察された問題は、同様の可視化パイプラインを用いる他のプロトタイプベースのモデルに対しても一般化可能か？

主な発見

• ProtoPNet や ProtoTree における標準的なアップサンプリングベースの可視化は、しばしば背景領域に注目を向け、誤ったモデルバイアスの感覚を生じさせる。
• SmoothGrad や PRP といったサリエンシー手法は、誤って局在化される可能性を著しく低減し、はるかに忠実な画像パッチを生成する。
• 提案されたセグメンテーションベースの関連性メトリックを用いるとき、アップサンプリング手法は実際の関心オブジェクトと一致が悪いが、PRP や SmoothGrad は強い一致を示す。
• デリートメトリックにより、PRP や SmoothGrad は重要な画像領域が削除された際にも、より多くの予測関連性を保持していることが確認され、忠実性がより高いことが示された。
• 本研究では、VGG19 をバックボーンとするモデルが、ResNet50 よりもバイアスの割合が高いことが判明し、バックボーン選択への感受性が示された。
• 本研究の結果は、可視化手法そのものが、誤った説明を生じさせ、自己説明型モデルの信頼性を損なう要因となり得ることを示唆している。