[論文レビュー] Unifying Generative Models with GFlowNets and Beyond

Dinghuai Zhang, Ricky T. Q. Chen+2 more|arXiv (Cornell University)|Sep 6, 2022

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

この論文は、サンプリングをマルコフ決定過程として定式化することにより、VAE、GAN、ノーマライジングフロー、自己回帰モデル、エネルギーベースモデル、拡散モデルなど多様な深層生成モデルをGFlowNetフレームワークに統一する。サンプリングをマルコフ的決定過程として定式化することで、生成モデルの統一的枠組みを提供する。MLE-GFNは、GFlowNetの原則にインspiredされた新しい訓練アルゴリズムであり、画像生成タスクにおけるサンプル品質と尤度を向上させ、CIFAR-10においてFIDとNLLの両指標でベースラインを上回る。

ABSTRACT

There are many frameworks for deep generative modeling, each often presented with their own specific training algorithms and inference methods. Here, we demonstrate the connections between existing deep generative models and the recently introduced GFlowNet framework, a probabilistic inference machine which treats sampling as a decision-making process. This analysis sheds light on their overlapping traits and provides a unifying viewpoint through the lens of learning with Markovian trajectories. Our framework provides a means for unifying training and inference algorithms, and provides a route to shine a unifying light over many generative models. Beyond this, we provide a practical and experimentally verified recipe for improving generative modeling with insights from the GFlowNet perspective.

研究の動機と目的

• マルコフ的軌道の観点から、分散する深層生成モデリングフレームワークを共通の確率的推論フレームワークに統一すること。
• GFlowNetの視点から、VAE、GAN、ノーマライジングフロー、自己回帰モデル、エネルギーベースモデル、拡散モデルなどの既存モデルが共有する構造的・アルゴリズム的特徴を同定すること。
• GFlowNetの知見を活用して、実験的に検証された実用的な訓練レシピ（MLE-GFN）を構築すること。
• GFlowNetの原則が、DDPMのような既存モデルを改善できることを示すこと、具体的には分散パラメータを学習する一貫性目的を導入することで。

提案手法

• GFlowNetsを用いて生成モデリングを段階的決定プロセスとして形式化し、サンプリング軌道が状態遷移における確率的方策に従うように定式化する。
• VAE、GAN、ノーマライジングフロー、自己回帰モデル、エネルギーベースモデル、拡散モデルなどの既存モデルを、特定の方策パラメータ化を持つGFlowNetsの特殊ケースとして再解釈する。
• 最大尤度推定とGFlowNetにインspiredされた軌道学習を組み合わせたMLE-GFNという訓練アルゴリズムを提案し、前向きおよび後向き方策の共同最適化を可能にする。
• DDPMにおけるノイズスケジュール（分散パラメータ）を学習するために一貫性目的を適用し、固定されたβ値の「解凍」を可能にすることで、表現力とサンプル品質を向上させる。
• 尤度推定のための変分下界と、方策学習を正則化する一貫性目的を用い、一般化性能を向上させる。
• 訓練と推論の両方を軌道最適化問題として扱う統一された目的関数を用いて、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 マルコフ的軌道に基づく一貫した確率的フレームワークにおいて、多様な深層生成モデル（VAE、GAN、ノーマライジングフロー、自己回帰モデル、拡散モデルなど）をどのように統一できるか？
• RQ2 GFlowNetの視点から見た場合、VAE、GAN、ノーマライジングフロー、自己回帰モデル、拡散モデルなどのモデルが共有する共通の構造的・アルゴリズム的要素は何か？
• RQ3 GFlowNetの知見を活用することで、サンプル品質と尤度の両面で既存の生成モデリングベースラインを改善できるか？
• RQ4 GFlowNetフレームワークをどのように拡張すれば、拡散モデルにおける事前に固定されたハイパーパrameter（例：ノイズ分散）を学習可能にし、性能を向上させられるか？
• RQ5 GFlowNet理論から得られる知見を基に、離散的および連続的生成モデリングタスクの両方で性能を向上させる実用的な訓練レシピをどのように導出できるか？

主な発見

• 提案されたMLE-GFNアルゴリズムは、CIFAR-10でFID 10.062、NLL 4.157を達成し、元のDDPMベースラインおよび改善版DDPM（iDDPM）の両方をFIDとNLLの両指標で上回った。
• MLE-GFNは、サンプル品質（FID）と尤度（NLL）のトレードオフをより良く制御しており、iDDPMが尤度を向上させる反面、サンプル品質が劣化するのとは対照的に、優れたバランスを実現した。
• 事前学習済みのDDPMモデルから微調整した場合、MLE-GFNは訓練ステップを経て一貫して尤度が向上し、図1に示すようにNLL値がより低くなる傾向を示した。
• 理論的分析により、前向きおよび後向き方策が特定のガウス分布としてパラメータ化される場合、DDPMがGFlowNetの特殊ケースであることが確認された。
• 一貫性目的により、DDPMにおける事前に固定されていた分散パラメータ（βi）を学習可能にし、訓練の安定性を損なわず、表現力とサンプル品質を向上させた。
• 実験的結果により、MLE-GFNが離散的および連続的画像モデリングタスクの両方で性能を向上させることを示し、その汎用性を検証した。