[論文レビュー] Posthoc Interpretation via Quantization

Francesco Paissan, Cem Subakan+1 more|arXiv (Cornell University)|Mar 22, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文では、ベクトル量子化を用いて分類器の意思決定を解釈するためのクラス固有の離散的潜在表現を生成するPosthoc Interpretation via Quantization (PIQ) を提案する。離散的なボトルネックによってモデルが顕著な入力領域に注目するよう強制されることで、従来の手法よりも解釈可能で人間が理解しやすい説明を生成する。画像および音声データにおけるユーザー研究により、その有効性が検証された。

ABSTRACT

In this paper, we introduce a new approach, called Posthoc Interpretation via Quantization (PIQ), for interpreting decisions made by trained classifiers. Our method utilizes vector quantization to transform the representations of a classifier into a discrete, class-specific latent space. The class-specific codebooks act as a bottleneck that forces the interpreter to focus on the parts of the input data deemed relevant by the classifier for making a prediction. Our model formulation also enables learning concepts by incorporating the supervision of pretrained annotation models such as state-of-the-art image segmentation models. We evaluated our method through quantitative and qualitative studies involving black-and-white images, color images, and audio. As a result of these studies we found that PIQ generates interpretations that are more easily understood by participants to our user studies when compared to several other interpretation methods in the literature.

研究の動機と目的

• 深層ニューラルネットワークの意思決定における人間が理解可能な説明の不足に取り組むこと、特に医療などのハイリスク分野において。
• 顕著な入力領域を強調する直感的で局所的な説明を生成するpost-hoc解釈手法を開発すること。
• Segment-Anything Model (SAM) などの基礎的モデルからの監督を活用することで、複雑なデータに対する解釈性を向上させること。
• 解釈性を定量的指標に加え、多様なデータモダリティにわたる人間の好みの研究を通じて評価すること。
• サリエンシーが明確に定義されにくい音声および低次元ビジョンデータへの解釈の適用を可能にすること。

提案手法

• PIQはベクトル量子化を用いて分類器の潜在表現を、クラス固有の離散的潜在空間にマッピングし、関連する入力特徴を強調するボトルネックを形成する。
• 各クラスはベクトル量子化層内で独自のコードブックを有し、モデルが各クラスごとに異なる解釈可能な概念を学習できる。
• 事前学習済みモデル（例：SAM）からの監督を統合することで、手動アノテーションなしに高品質な概念学習が可能になる。
• 音声および低次元データではサリエンシーがしきい値処理により導出され、複雑なデータでは基礎的モデルが解釈をガイドする。
• 解釈デコーダーは量子化された潜在コードに基づいて入力領域を再構築し、意思決定に関連する部分を強調する視覚的または音声的オーバーレイを生成する。
• トレーニングはVQ-VAEのベクトル量子化目的関数を最適化することで行われ、離散的でコンactかつ意味のある表現が保証される。

実験結果

リサーチクエスチョン

• RQ1 ベクトル量子化を用いて、深層ニューラルネットワークの意思決定の解釈性を向上させるクラス固有の離散的潜在表現を構築できるか？
• RQ2 画像および音声データにおいて、PIQがLIME、GradCAM、L2Iといった既存手法と比較して、人間の好みにおいてどのように差をつけるか？
• RQ3 PIQは、微調整なしに、実世界の画像において基礎的モデル（例：SAM）を効果的に活用して高品質な解釈を生成できるか？
• RQ4 特に曖昧または重複する入力ケースにおいて、PIQは元のデータ分布に忠実でありながら、より解釈可能な説明を生成できるか？
• RQ5 音声データ、特にソース分離が困難な音声イベントの混合物を解釈する際、PIQはどのように性能を発揮するか？

主な発見

• PIQは白黒画像において、複数のベースライン手法を定量的指標で上回り、元のデータ分布に密接に一致した。
• 白黒画像、カラー画像、音声データにおけるユーザー研究では、参加者がPIQの説明をLIME、VIBI、FLINT、L2I、GradCAMのそれよりも好む傾向が一貫して確認された。
• ESC-50データセットの音声混合物において、PIQは公式および再実装されたL2Iベースラインと比較して、平均的に顕著に高い評価（5段階スケール）を得た。
• ユーザー研究の結果、PIQの説明は特に重複する数字や混合音声のような複雑な状況において、より正確で理解しやすいと評価された。
• Segment-Anything Model (SAM) からの監督を用いて、実世界の画像に対して意味的で局所的な説明を効果的に生成した。これにより、複雑なデータへのスケーラビリティが実証された。
• 本手法はモダリティを問わず一般化可能であり、モダリティ固有の再トレーニングを必要とせず、画像および音声データの両方で解釈可能な出力を生成した。