[論文レビュー] Generative Flow Networks for Discrete Probabilistic Modeling

Dinghuai Zhang, Nikolay Malkin+4 more|arXiv (Cornell University)|Feb 3, 2022

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

この論文は、高次元離散確率的モデリングのため、GFlowNetサンプラーとエネルギー関数を同時に学習する統合学習フレームワーク、Energy-Based Generative Flow Networks (EB-GFN) を導入する。GFlowNetの構成的構造を活用することで、モード間を混合する効率的な大ブロックMCMC提案が可能となり、MNIST や Dynamic MNIST といった離散データで最先端の性能を達成する。

ABSTRACT

We present energy-based generative flow networks (EB-GFN), a novel probabilistic modeling algorithm for high-dimensional discrete data. Building upon the theory of generative flow networks (GFlowNets), we model the generation process by a stochastic data construction policy and thus amortize expensive MCMC exploration into a fixed number of actions sampled from a GFlowNet. We show how GFlowNets can approximately perform large-block Gibbs sampling to mix between modes. We propose a framework to jointly train a GFlowNet with an energy function, so that the GFlowNet learns to sample from the energy distribution, while the energy learns with an approximate MLE objective with negative samples from the GFlowNet. We demonstrate EB-GFN's effectiveness on various probabilistic modeling tasks. Code is publicly available at https://github.com/zdhNarsil/EB_GFN.

研究の動機と目的

• 高次元離散分布にモードが明確に分離されている場合のMCMC法における混合が遅いという課題に対処する。
• 複雑なエネルギー景観におけるMCMCの不十分な探索が原因で生じるエネルギーモデル（EBM）の偽のモード問題を克服する。
• GFlowNetが生成するネガティブサンプルを用いたコントラスト型の目的関数を用いて、生成フローネット（GFlowNet）とエネルギー関数の共同学習を可能にする。
• GFlowNetsの構成的構造を活用し、潜在構造の事前知識なしにデータモードを発見し、一般化可能にする。
• MCMC探索の高コストを固定回数のGFlowNetアクションにアモアタイズする、スケーラブルでエンドツーエンドの離散確率的モデリングフレームワークを構築する。

提案手法

• 部分状態のDAG上で、前方（ペイント）および逆方向（消去）の確率的方策を用いて、離散データにおける非自己回帰的逐次生成をGFlowNetとして定式化する。
• GFlowNetの前方および逆方向方策を用いて、メトロポリス・ハスティングスMCMCのためのマルコフ連鎖提案を構築し、モード間を大規模かつ低拒否率のジャンプが可能になる。
• エネルギー関数はGFlowNetが生成するネガティブサンプルを用いて更新され、GFlowNetはエネルギー分布からのサンプリングを学習するというコントラスト型の目的関数により、GFlowNetとエネルギー関数を共同で学習する。
• 学習の安定化のため、リプレイバッファとPCDスタイルの学習（PCD-100）を用い、モデル選択は検証NLLに基づく。
• 十分にGFlowNetが収束している条件下で、共同学習手順が真のデータの対数尤度勾配を推定できることを保証する。
• 軌道フローを用いて非正規化密度をモデル化し、バイナリズドMNIST や合成された構造的データなどの離散データにこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 GFlowNetは、固定されたエネルギー関数からではなく、データから学習できるように変更可能であり、サンプラーとエネルギーモデルの共同学習を可能にするか？
• RQ2 GFlowNetに基づくMCMC提案は、大ブロックギブスサンプリングを近似し、離散分布における明確に分離されたモード間の混合を著しく改善できるか？
• RQ3 GFlowNetとエネルギー関数の共同学習は、既存のEBMベースラインと比較して、離散データにおける対数尤度性能を向上させるか？
• RQ4 GFlowNetsの構成的構造は、明示的な構造的事前知識や低確率パスが長大な場合を除き、モード間の一般化を可能にするか？
• RQ5 提案されたフレームワークは、バイナリズド画像や構造的シーケンスといった実世界の離散データに対してスケーラブルかつ効果的か？

主な発見

• EB-GFNは、テストした4つのデータセットのうち3つで最先端の負の対数尤度（NLL）性能を達成し、GWGベースラインを上回る。
• Dynamic MNISTデータセットでは、GibbsサンプリングやGWGと比較して、EB-GFNはより良いモードカバレッジと詳細の忠実度を持つサンプルを生成する。特に、まれなまたは複雑なパターンの捉え込みに優れている。
• GFlowNetに基づくMCMC提案により、モード間の大規模ジャンプが効率的に行えるようになり、標準的な局所的MCMC手法と比較して混合時間が短縮される。
• GFlowNetが生成するネガティブサンプルを用いた共同学習により、従来のEBM学習で一般的な偽のモード問題が緩和され、EBM学習が安定化する。
• 複雑で多次元的な構造を持つ合成データセットにおいても、競争力のある性能を示しており、組み合わせ的モード爆発に対する頑健性が裏付けられる。
• 学習済みのGFlowNet自体が強力な生成モデルとして機能し、MCMCに依存せずに高品質なサンプルを生成可能である。