[論文レビュー] A Tale of Two Flows: Cooperative Learning of Langevin Flow and Normalizing Flow Toward Energy-Based Model

Jianwen Xie, Yaxuan Zhu+2 more|arXiv (Cornell University)|May 13, 2022

Generative Adversarial Networks and Image Synthesis被引用数 9

ひとこと要約

本稿では、エネルギーベースモデルにおける生成モデリングを改善するために、正規化フローとショートランク・ランジュバンフローを協調的に訓練するフレームワーク、CoopFlowを提案する。正規化フローを用いてランジュバンダイナミクスを初期化し、MCMC遷移を活用して正規化フローを精錬することで、非混合MCMCサンプリング下でも効果的な画像生成、再構成、補間を実現する。

ABSTRACT

This paper studies the cooperative learning of two generative flow models, in which the two models are iteratively updated based on the jointly synthesized examples. The first flow model is a normalizing flow that transforms an initial simple density to a target density by applying a sequence of invertible transformations. The second flow model is a Langevin flow that runs finite steps of gradient-based MCMC toward an energy-based model. We start from proposing a generative framework that trains an energy-based model with a normalizing flow as an amortized sampler to initialize the MCMC chains of the energy-based model. In each learning iteration, we generate synthesized examples by using a normalizing flow initialization followed by a short-run Langevin flow revision toward the current energy-based model. Then we treat the synthesized examples as fair samples from the energy-based model and update the model parameters with the maximum likelihood learning gradient, while the normalizing flow directly learns from the synthesized examples by maximizing the tractable likelihood. Under the short-run non-mixing MCMC scenario, the estimation of the energy-based model is shown to follow the perturbation of maximum likelihood, and the short-run Langevin flow and the normalizing flow form a two-flow generator that we call CoopFlow. We provide an understating of the CoopFlow algorithm by information geometry and show that it is a valid generator as it converges to a moment matching estimator. We demonstrate that the trained CoopFlow is capable of synthesizing realistic images, reconstructing images, and interpolating between images.

研究の動機と目的

• エネルギーベースモデル（EBM）における非混合・非収束性を示すランジュバンダイナミクスの課題に対処し、バイアスのかかった勾配推定とモデルの不正確なキャリブレーションを回避する。
• 制約付きの可逆変換による表現力の制限に起因する正規化フローの限界を克服するため、フローに類似したランジュバンダイナミクスと統合する。
• 正規化フローがランジュバンダイナミクスの高速初期化子として機能し、時間差学習を通じてランジュバンフローが正規化フローを改善する協調学習スキームを構築する。
• 非混合MCMCでさえも、組み合わせた二フロー生成器がモーメントマッチング推定器に収束することを示し、モデルの有効性を保証する。

提案手法

• 二フローゲンレータを提案：正規化フローは密度モデリングに、ショートランク・ランジュバンフローはエネルギーベースモデルからのMCMCサンプリングに使用する。
• ランジュバンダイナミクスの潜在変数を正規化フローで初期化し、有効なサンプリングに必要なランジュールンステップ数を削減する。
• 非収束を許容するが、合成例を用いて最大尤度推定によりエネルギーベースモデルを訓練する。非収束であっても、合成例を公平なサンプルとみなす。
• ランジュバンフローが生成する合成例の尤度を最大化することで正規化フローを更新し、アモアタイズド推論を可能にする。
• 正規化フローの初期サンプルとランジュバンダイナミクスによる精錬済みサンプルとの時間差を活用し、両者の共同最適化を実装する。
• 再構成損失を用いて勾配降下法により観測画像を潜在空間に逆変換し、画像再構成およびインpaintingタスクを可能にする。

実験結果

リサーチクエスチョン

• RQ1 非混合MCMCを伴う状況下でも、正規化フローとランジュバンフローの協調学習フレームワークが、エネルギーベースモデルにおけるサンプル品質を向上させられるか？
• RQ2 正規化フローとショートランク・ランジュバンフローの組み合わせが、モーメントマッチング推定器に収束する有効な生成モデルを形成できるか？
• RQ3 正規化フローがランジュバンダイナミクスを効果的に初期化することで、必要なランジュールンステップ数を削減しつつもサンプル品質を維持できるか？
• RQ4 二フローゲンレータは、画像再構成、インpainting、潜在空間内補間といった下流タスクをどの程度効果的にサポートできるか？
• RQ5 CoopFlowフレームワークの情報幾何的性質は、非混合MCMCの存在下でも収束性と安定性を保証するか？

主な発見

• 非混合MCMC下でも、正規化フローによる初期化とショートランク・ランジュバンフローによる精錬を組み合わせることで、CoopFlowは現実的な画像を効果的に合成する。
• CIFAR-10における高い品質の画像再構成を達成し、潜在コードに対して200ステップの勾配降下を実行した後、再構成画像が元の入力と密接に一致する。
• CelebAデータセットにおいて、CoopFlowは多様で整合性のある結果を、異なる初期化および最適化イテレーションで効果的に生成するインpaintingタスクを実現する。
• 観測データから推定された画像間の潜在空間内補間により、滑らかで意味のある変化が得られ、データ多様体が良好に構造化されていることが示された。
• 理論的解析により、CoopFlowがモーメントマッチング推定器に収束することが示され、非収束MCMCであっても一貫性のある生成モデルとしての有効性が裏付けられた。
• 協調的トレーニングスキームにより、両方のフローが反復的に改善される：正規化フローはより良い初期化を学び、ランジュバンフローはより良いフィードバックを提供して精錬を実現する。