[論文レビュー] ProtoPShare: Prototype Sharing for Interpretable Image Classification and Similarity Discovery

Dawid Rymarczyk, Łukasz Struski+2 more|arXiv (Cornell University)|Nov 29, 2020

Explainable Artificial Intelligence (XAI)参考文献 43被引用数 14

ひとこと要約

ProtoPShareは、データに依存する類似度を用いて、異なるクラス間で意味的に類似したプロトタイプ部品を統合することで、解釈可能な画像分類におけるモデルの複雑さを低減するプロトタイプ共有メカニズムを導入する。このアプローチは解釈性を向上させ、摂動に対してより頑健になり、クラス間の類似性の発見を可能にし、ProtoPNetに比べてプロトタイプの効率性と一貫性を向上させつつ高い精度を維持する。

ABSTRACT

In this paper, we introduce ProtoPShare, a self-explained method that incorporates the paradigm of prototypical parts to explain its predictions. The main novelty of the ProtoPShare is its ability to efficiently share prototypical parts between the classes thanks to our data-dependent merge-pruning. Moreover, the prototypes are more consistent and the model is more robust to image perturbations than the state of the art method ProtoPNet. We verify our findings on two datasets, the CUB-200-2011 and the Stanford Cars.

研究の動機と目的

• ProtoPNetにおけるプロトタイプ数の多さが解釈性とモデル効率性を低下させるという問題に対処すること。
• 意味的に類似したプロトタイプが表現空間で近接するようにすることで、モデルの頑健性を向上させること。
• 異なる画像カテゴリ間で共有されるプロトタイプを通じて、クラス間の類似性の発見を可能にすること。
• 表現空間で離れている場合でも意味的に類似したプロトタイプを特定できる、データに依存する類似度測定法の開発。
• CUB-200-2011およびStanford Carsデータセットを用いた定量的評価およびユーザースタディによる手法の妥当性の検証。

提案手法

• ProtoPShareは2段階の訓練プロセスを用いる：まず排他的なプロトタイプを用いた初期訓練、その後にマージ・プルーニング段階を実行。
• マージ・プルーニング段階では、データに依存する類似度測定法を用いて、異なるクラスからの意味的に類似したプロトタイプを特定・統合する。
• データに依存する類似度測定法は、表現空間上のユークリッド距離だけでなく、画像全体にわたる活性化パターンに基づいて類似度を計算する。
• プロトタイプは複数のクラス間で共有され、ProtoPNetに比べて総数が最大3倍まで削減される。
• この手法は、共有プロトタイプを複数のクラスに接続するプロトタイプ層を活用し、多クラス解釈を可能にする。
• ユーザースタディを実施し、ユークリッド距離に比べてデータに依存する類似度がより一貫した知覚的評価を得られることを検証した。

実験結果

リサーチクエスチョン

• RQ1 クラス間でのプロトタイプ共有は、プロトタイプ数を削減しながらも、モデルの精度を維持または向上させることができるか？
• RQ2 表現空間で離れている場合でも、データに依存する類似度はユークリッド距離に比べて意味的に類似したプロトタイプをより効果的に特定できるか？
• RQ3 共有プロトタイプは、クラスタリングやグラフベースの可視化を通じて、意味的なクラス間類似性の発見を可能にするか？
• RQ4 マージ後のプロトタイプ表現は、元のProtoPNetに比べて画像摂動に対してより頑健であるか？
• RQ5 人間のユーザは、データに依存する類似度をユークリッド距離に基づく類似度よりも一貫性があると感じているか？

主な発見

• ProtoPShareは、ProtoPNetに比べてプロトタイプ数を最大3倍まで削減し、解釈性を顕著に向上させた。
• 高い精度を維持するとともに、画像摂動に対してより頑健であることが示され、プルーニング後の正しく分類された画像パッチの割合が高くなった。
• ユーザースタディにより確認されたように、データに依存する類似度測定法は、表現空間で離れている場合でも意味的に類似したプロトタイプを的確に特定できた。
• 285件の回答を得たユーザースタディでは、195名のユーザーがデータに依存する類似度をユークリッド距離よりも好んだ。これは、より優れた知覚的一致性を示している。
• グラフベースの表現を用いることで、共有プロトタイプがクラス関係を示す有効な類似性可視化を可能にした。例えば、Audi S5 CoupeとAudi S5 Convertibleは4つのプロトタイプを共有していた。
• マージ・プルーニングプロセスは、モデル容量をより効果的に保持しており、プルーニング段階においても、正しく分類されたパッチの割合が一貫して増加した。