[論文レビュー] ProtoVAE: A Trustworthy Self-Explainable Prototypical Variational Model

Srishti Gautam, Ahcène Boubekki+5 more|arXiv (Cornell University)|Oct 15, 2022

Machine Learning and Data Classification被引用数 11

ひとこと要約

ProtoVAE は、正規直交制約と共有 VAE バックボーンを用いて、透明性、多様性、信頼性を強制することで、エンド・ツー・エンドの方法でクラス固有で解釈可能なプロトタイプを学習する自己説明可能な変分オートエンコーダーに基づくモデルである。5つの画像データセットにおいて、予測精度を損なうことなく、忠実で多様かつ視覚的に解釈可能な説明を達成し、最先端の性能を発揮する。

ABSTRACT

The need for interpretable models has fostered the development of self-explainable classifiers. Prior approaches are either based on multi-stage optimization schemes, impacting the predictive performance of the model, or produce explanations that are not transparent, trustworthy or do not capture the diversity of the data. To address these shortcomings, we propose ProtoVAE, a variational autoencoder-based framework that learns class-specific prototypes in an end-to-end manner and enforces trustworthiness and diversity by regularizing the representation space and introducing an orthonormality constraint. Finally, the model is designed to be transparent by directly incorporating the prototypes into the decision process. Extensive comparisons with previous self-explainable approaches demonstrate the superiority of ProtoVAE, highlighting its ability to generate trustworthy and diverse explanations, while not degrading predictive performance.

研究の動機と目的

• 既存の自己説明可能なモデル（SEMs）がしばしば予測性能を犠牲にしたり、説明の透明性や多様性に欠けるという限界に対処する。
• SEMs のための3つの核心的特性、すなわち透明性、多様性、信頼性を定義し、実装可能なものとし、体系的な評価を可能にする。
• 訓練データの最近傍サンプルを代理として用いるのを避ける、潜在空間に直接的にグローバルプロトタイプを学習する統合的でエンド・ツー・エンドのフレームワークを開発する。
• 正規直交制約と類似度に基づく意思決定を組み込むことで、説明の忠実性と耐性を確保する。
• 自己説明可能なモデルがブラックボックスモデルと同等またはそれを上回る性能を発揮しつつ、信頼性があり人間が解釈可能なインサイトを提供できることを示す。

提案手法

• ProtoVAE は、変分オートエンコーダー（VAE）に基づく共有エンコーダ・デコーダアーキテクチャを用い、各クラスがそのクラス固有のプロトタイプを中心とするガウス事前分布を持つ。
• モデルは複数の VAE を共有の方法で学習し、各 VAE は異なるプロトタイプに条件付けられており、再構築と分類の両方の最適化をエンド・ツー・エンドで可能にする。
• 各クラス内でのプロトタイプに正規直交制約を適用することで、クラス内多様性を強制し、単一の点への収束を防ぐ。
• 最終的な予測は、入力表現と各プロトタイプ間の類似度スコアの重み付き和として計算され、意思決定の透明性を保証する。
• 局所的なピクセル単位の説明は、類似度スコアから入力空間への勾配ベースの関連性バックプロパゲーションにより生成される。
• 損失関数は再構築損失、分類損失、正則化項を組み合わせており、忠実性、多様性、信頼性のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 自己説明可能なモデルは、入力空間における完全に透明なグローバルプロトタイプを保ちながら、高い予測性能を達成できるか？
• RQ2 自己説明可能なモデルにおいて、収束を防ぎ、耐性を高めるために、どのようにプロトタイプの多様性を強制できるか？
• RQ3 VAE アーキテクチャは、精度を損なわず、忠実で多様かつ信頼性のある説明をサポートできるか、その程度はどの程度か？
• RQ4 ProtoPNet や SENN といった既存手法と比較して、ProtoVAE が生成する説明は、定量的および定性的にどのように異なるか？
• RQ5 関連順序付けとアブレーションテストによって測定した場合、モデルの説明の忠実性は摂動に対して耐性があるか？

主な発見

• すべてのデータセットにおいて、ProtoPNet よりも顕著に低いアクティベーション差（AD）と高い忠実性（AI）を達成した。MNIST では AD が 0.4 ± 0.0、CIFAR-10 では 6.6 ± 0.0 であり、それぞれ ProtoPNet の 3.4 ± 0.3 と 11.6 ± 0.2 よりも低い。
• SVHN データセットでは、ProtoPNet と同等の AI（0.7 ± 0.0）を達成したが、AD は 6.1 ± 0.1 と低く、ProtoPNet の 5.4 ± 0.0（AD）と 0.7 ± 0.0（AI）よりも信頼性の高い説明を示した。
• 関連順序付けテストでは、MNIST、QuickDraw、SVHN において、ProtoVAE は ProtoPNet やランダムベースラインを上回り、AUC が高かった。これは、関連する特徴をよりよく捉えていることを示している。
• ProtoPNet は MNIST の関連テストにおいてランダムより悪い性能を示しており、その説明が信頼性がなく、誤解を招く可能性があることを示している。
• ProtoVAE は高い予測精度を維持しており、ブラックボックスの対応モデルと同等またはそれを上回っており、自己説明性が性能の犠牲を伴わないことを示している。
• モデルのグローバルプロトタイプは入力空間に直接可視化可能であり、最近傍の訓練サンプルによる近似ではないため、真の透明性が保証されている。