[論文レビュー] Diffusion Models and Representation Learning: A Survey

Michael Fuest, Pingchuan Ma+4 more|arXiv (Cornell University)|Jun 30, 2024

Machine Learning in Healthcare被引用数 6

ひとこと要約

この論文はNormalizing Flowsを概観し、理論、アーキテクチャ、トレーニング、および分布学習における扱いやすい密度推定とサンプリングの適用を詳述し、未解決の問題と将来の方向性を概説する。

ABSTRACT

Diffusion Models are popular generative modeling methods in various vision tasks, attracting significant attention. They can be considered a unique instance of self-supervised learning methods due to their independence from label annotation. This survey explores the interplay between diffusion models and representation learning. It provides an overview of diffusion models' essential aspects, including mathematical foundations, popular denoising network architectures, and guidance methods. Various approaches related to diffusion models and representation learning are detailed. These include frameworks that leverage representations learned from pre-trained diffusion models for subsequent recognition tasks and methods that utilize advancements in representation and self-supervised learning to enhance diffusion models. This survey aims to offer a comprehensive overview of the taxonomy between diffusion models and representation learning, identifying key areas of existing concerns and potential exploration. Github link: https://github.com/dongzhuoyao/Diffusion-Representation-Learning-Survey-Taxonomy

研究の動機と目的

• Normalizing Flowsの文脈と直感を提供し、それらが他の生成モデルとどう異なるかを説明する。
• 主要なNFアーキテクチャとそれらの計算特性（密度評価、サンプリング、ヤコビ行列式）をレビューする。
• NFベースの密度推定と生成に関連する学習 regime, データセット、および性能ベンチマークを議論する。
• 未解決の問題、課題、および今後のNF研究の有望な方向性を特定する。

提案手法

• Normalizing Flowsを、単純な基底分布を複雑なターゲット分布へ押し上げる可逆かつ微分可能な変換として定義する。
• 組み合わせられたフローのヤコビ行列式を分解して、計算可能な密度評価を可能にする。
• フローのアーキテクチャを（要素ごと、線形、平面/放射状、カップリング、自自己回帰、残差/連続微分）に分類し、それぞれの利点とトレードオフを議論する。
• 最大尤度、変分/推論の観点、再パラメータ化の工夫を含む学習手法を説明する。
• カップリングと自己回帰フローのバリエーションを、条件付けスキームと普遍性の性質とともに提示する。
• 効率性、可逆性、および構造化変換による行列式計算の実用的考慮事項を強調する。

Figure 1: Change of variables (Equation ( 2.1 )). Top-left: the density of the source $p_{\mathbf{Z}}$ . Top-right: the density function of the target distribution $p_{\mathbf{Y}}(\mathbf{y})$ . There exists a bijective function $\mathbf{g}$ , such that $p_{\mathbf{Y}}=\mathbf{g}_{*}p_{\mathbf{Z}}$

実験結果

リサーチクエスチョン

• RQ1 Normalizing Flows とは何か、そしてそれらがどうやって可算な密度推定とサンプリングを可能にするのか。
• RQ2 Normalizing Flowsに存在するアーキテクチャファミリーは何か、そしてそれらの計算的トレードオフは何か。
• RQ3 フローを効果的に訓練するにはどうすればよいか、基底分布とヤコビアン行列式の役割は何か。
• RQ4 NFアーキテクチャ全般にわたる実用的考慮事項（可逆性、効率性、普遍性）は何か。
• RQ5 分布学習におけるNormalizing Flowsに関する未解決の課題と将来の方向性は何か。

主な発見

• Normalizing Flows は、可逆変換と計算可能なヤコビアン行列式を用いた、密度評価とサンプリングを実現する。
• 単純な全単射の組み合わせは、尤度計算を実行可能に保ちながら、表現力のあるターゲット分布を生み出す。
• カップリングと自己回帰フローは、好適なヤコビ行列構造と条件付け機構のため、最も広く用いられるアーキテクチャである。
• さまざまな線形フローのバリアント（対角、三角、LU/QR因数分解、畳み込み）は、表現力と計算効率のバランスを取る。
• Planarおよびradialフローは単純さを提供するが、可逆性と表現力に制限がある。一方、Sylvesterおよびマルチスケール結合フローは効率と柔軟性を向上させる。
• 普遍性の結果は、適切な結合関数を持つ自己回帰フローが、十分な容量とデータがあれば任意のターゲット密度を近似できることを示している。

Figure 2: Overview of flows discussed in this review. We start with elementwise bijections, linear flows, and planar and radial flows. All of these have drawbacks and are limited in utility. We then discuss two architectures (coupling flows and autoregressive flows) which support invertible non-line