[論文レビュー] Interpretable Diffusion via Information Decomposition

Xianghao Kong, Ollie Liu+3 more|arXiv (Cornell University)|Oct 12, 2023

Model Reduction and Neural NetworksPhysics and Astronomy被引用数 3

ひとこと要約

本稿では、ノイズ除去拡散モデルを活用して、テキストと画像間の情報フローの細分化で解釈可能となる、情報理論的枠組みを提案する。ノイズ除去モデルから正確な相互情報量および条件付き相互情報量（CMI）の式を導出することで、ピクセルおよび単語レベルでの解釈可能性を実現し、プロンプト干渉の影響を検出する際や構成的理解を測定する際、アテンション機構を上回る性能を発揮する。

ABSTRACT

Denoising diffusion models enable conditional generation and density modeling of complex relationships like images and text. However, the nature of the learned relationships is opaque making it difficult to understand precisely what relationships between words and parts of an image are captured, or to predict the effect of an intervention. We illuminate the fine-grained relationships learned by diffusion models by noticing a precise relationship between diffusion and information decomposition. Exact expressions for mutual information and conditional mutual information can be written in terms of the denoising model. Furthermore, pointwise estimates can be easily estimated as well, allowing us to ask questions about the relationships between specific images and captions. Decomposing information even further to understand which variables in a high-dimensional space carry information is a long-standing problem. For diffusion models, we show that a natural non-negative decomposition of mutual information emerges, allowing us to quantify informative relationships between words and pixels in an image. We exploit these new relations to measure the compositional understanding of diffusion models, to do unsupervised localization of objects in images, and to measure effects when selectively editing images through prompt interventions.

研究の動機と目的

• 拡散モデルにおける解釈性の欠如、特に学習された画像・テキスト関係が曇っている点を是正すること。
• アーキテクチャへのアクセスを必要とせず、ピクセルおよび単語レベルでの微細な情報フローを定量化する手法を開発すること。
• アテンションに基づく解釈性の代替手段として、ブラックボックスAPIと互換性があり、プロンプト干渉の真の効果をよりよく捉えるものであること。
• 情報理論的指標を用いて、拡散モデルにおける構成的理解を評価および向上させること。
• 教師なしで、抽象的語彙（例：形容詞、動詞）を画像内で局所化するための情報分解を可能にすること。

提案手法

• 本手法は、拡散プロセスにおける最適なノイズ除去モデルを用いて、相互情報量（MI）および条件付き相互情報量（CMI）の正確な式を導出する。
• ガウスノイズ下でのMMSEノイズ除去特性を活用し、情報量をノイズ除去器の出力から直接表現する。
• ピクセルおよび単語レベルでのMIおよびCMIのポイントワイズ推定値を計算し、サンプルおよび変数ごとの解釈可能性を実現する。
• CMIが実際の出力変化を反映するため、プロンプト干渉の分析にフレームワークを適用する。アテンションマップとは異なり、これは出力変化を正しく反映する。
• 本手法はアーキテクチャに依存しないため、アテンションベースの手法がモデルアクセスを必要とするのとは異なり、ブラックボックスAPIとも利用可能である。
• 情報分解を用いて、教師なしで構成的理解を定量化し、画像内での意味的コンセプトを局所化する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルにおける特定の語と画像ピクセルとの間の微細な関係をどのように解釈できるか？
• RQ2 アテンション機構と比較して、条件付き相互情報量（CMI）がプロンプト干渉の真の効果をどの程度正確に反映するか？
• RQ3 情報理論的指標を用いて、テキストから画像への拡散モデルにおける構成的一般化を評価できるか？
• RQ4 情報分解とアテンションは、画像内での抽象的言語的用語（副詞、形容詞など）の局所化において、どのように比較されるか？
• RQ5 CMI推定値は、拡散モデル内のモデル回路や機能的コンポonentを特定する信頼性のある指標として機能できるか？

主な発見

• 提案手法により、ノイズ除去モデルから直接、相互情報量および条件付き相互情報量の正確かつ実行可能な計算が可能となり、拡散モデルに対する情報理論的解釈の原則的枠組みが提供される。
• CMI推定値は、プロンプト干渉が生成画像に影響を与えない場合を正しく同定するが、アテンションマップはこれを反映しない。これにより、CMIが依存度の測定において優位であることが示された。
• AROベンチマークにおいて、拡散モデルは対比的VLMバックボーンを上回る構成的理解を示すが、構成に配慮したネガティブ例で事前学習されたモデルと比較すると依然として劣る。
• 情報分解は、文脈的依存関係への感受性を考慮して、教師なしでもアテンションよりも抽象語（例：形容詞、動詞）の局所化をより効果的に実現する。
• プロンプト干渉の過程で相互情報量に一貫性のない変化が生じることが判明し、データセット固有の特徴やモデルの入力文脈への感受性を示唆する。
• 本フレームワークは、情報変数を特定することが重要となる医療分野のモデリングやタンパク質設計などの高リスク分野にも応用可能である。