[論文レビュー] Understanding DDPM Latent Codes Through Optimal Transport

Valentin Khrulkov, Ryzhakov, Gleb+2 more|arXiv (Cornell University)|Feb 14, 2022

Generative Adversarial Networks and Image Synthesis被引用数 12

ひとこと要約

本稿では、DDPMエンコーダーマップが、多変数正規分布において理論的に、および合成および実画像データにおいて数値的に、データ分布と標準正規分布の間のモングェ最適輸送マップと一致することを示している。この結果は、DDPMの潜在コードが最適輸送を通じて構造を符号化しており、モデル間での高レベル特徴の転送を可能にしていることを明らかにする。

ABSTRACT

Diffusion models have recently outperformed alternative approaches to model the distribution of natural images, such as GANs. Such diffusion models allow for deterministic sampling via the probability flow ODE, giving rise to a latent space and an encoder map. While having important practical applications, such as estimation of the likelihood, the theoretical properties of this map are not yet fully understood. In the present work, we partially address this question for the popular case of the VP SDE (DDPM) approach. We show that, perhaps surprisingly, the DDPM encoder map coincides with the optimal transport map for common distributions; we support this claim theoretically and by extensive numerical experiments.

研究の動機と目的

• 確率フローODEを介してデータから標準正規潜在空間にマップするDDPMエンコーダーマップの数学的性質を理解すること。
• DDPMエンコーダーマップが、データ分布とノイズ分布の間の最適輸送マップに対応するかどうかを調査すること。
• この対応関係について、合成および実画像分布の両方で理論的および実証的証拠を提供すること。

提案手法

• 多変数正規分布に対して理論的分析を行い、DDPMエンコーダーマップが最適輸送マップに等しいことを証明する。
• 数値実験では、テンソルトレインソルバーを用いてFokker-Planck方程式を解き、確率フローODEを計算し、最適輸送対応関係を検証する。
• 実証的検証では、DDIMサンプリングを用いて実画像（FFHQ、MetFaces、AFHQ、ImageNet）を逆方向に再構築し、元の画像とその潜在コード間の最適輸送コストを計算する。
• POTライブラリを用いて、DDIMによって誘導されるマップと真の最適輸送マップの間の最適輸送コストを比較する。
• 同じ潜在コードから生成されたサンプルの類似度を評価し、異なるモデル間での高レベル特徴の転送を観察する。
• ImageNetモデルを用いた条件付き実験では、共有潜在コード下でのテクスチャおよびスタイルの保存性を、クラス間でテストする。

実験結果

リサーチクエスチョン

• RQ1 確率フローODEによって誘導されるDDPMエンコーダーマップは、データ分布と標準正規分布の間の最適輸送マップと一致するか？
• RQ2 非ガウス分布および実画像分布に対して、DDPMエンコーダーマップは最適輸送マップをどの程度正確に近似するか？
• RQ3 異なるデータセットで学習された異なる拡散モデル間で、共有された潜在コードがどのように振る舞うか、実証的に評価するにはどうすればよいか？
• RQ4 テクスチャ、ポーズ、性別といった高レベルの視覚的特徴が、最適輸送構造のおかげで共有潜在コードを介して転送可能か？
• RQ5 観察された対応関係はDDPMに特有のものか、スコアベース生成モデルの一般的性質か？

主な発見

• 多変数正規分布では、理論的にDDPMエンコーダーマップがモングェ最適輸送マップと正確に一致することが証明された。
• 合成分布では、Fokker-Planck方程式を数値的に解くことで、DDPMエンコーダーマップが機械精度の範囲で最適輸送マップと一致することが確認された。
• 実画像データセット（FFHQ、MetFaces、AFHQ）では、異なるモデル間で共有された潜在コードが、性別、ポーズ、テクスチャといった高レベル特徴が整合する画像を生成した。
• AFHQ検証セットでは、元の画像とそのDDIM符号化潜在コード間の最適輸送コストが、確率フローODEによって誘導されるコストと機械精度の範囲で一致した。
• 条件付きImageNetモデルの実験では、共有潜在コードがクラス間（例：雄鶏とピザ）でテクスチャやスタイルを保存することが示され、潜在空間が知覚的類似性を符号化している可能性が示唆された。
• BigGANを用いた実験では類似した転送が観察されなかったため、観察された特徴の整合性はDDPMに特有であり、条件付き生成の一般効果ではないことが示された。