[論文レビュー] A theory of continuous generative flow networks

Salem Lahlou, Tristan Deleu+7 more|arXiv (Cornell University)|Jan 30, 2023

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本論文は、測度的ポイント付きグラフとマルコフ核を用いて、流れマッチング、詳細つり合い、軌道つり合いの条件を定式化することにより、離散的状態空間から連続的およびハイブリッド状態空間へとGenerative Flow Networks (GFlowNets)の適用範囲を一般化する理論を提示する。主な貢献は、これらの条件のいずれかを満たすことで、学習された前方カーネルがターゲットの正規化されていない分布からサンプリングすることを保証する理論的証明であり、連続的領域における安定で勾配ベースの学習を可能にし、非GFlowNetベースラインよりも優れた実験的性能を示す。

ABSTRACT

Generative flow networks (GFlowNets) are amortized variational inference algorithms that are trained to sample from unnormalized target distributions over compositional objects. A key limitation of GFlowNets until this time has been that they are restricted to discrete spaces. We present a theory for generalized GFlowNets, which encompasses both existing discrete GFlowNets and ones with continuous or hybrid state spaces, and perform experiments with two goals in mind. First, we illustrate critical points of the theory and the importance of various assumptions. Second, we empirically demonstrate how observations about discrete GFlowNets transfer to the continuous case and show strong results compared to non-GFlowNet baselines on several previously studied tasks. This work greatly widens the perspectives for the application of GFlowNets in probabilistic inference and various modeling settings.

研究の動機と目的

• 離散的状態空間にとどまらないGFlowNetsの理論的基盤を連続的およびハイブリッド状態空間へと拡張すること。
• 連続的GFlowNetsのための、測度的ポイント付きグラフとマルコフ核に基づく厳密な数学的枠組みを確立すること。
• 流れマッチング、詳細つり合い、軌道つり合いの条件を満たすことで、正規化されていないターゲット分布からの正しいサンプリングが保証されることを証明すること。
• 理論を実験的に検証し、離散的GFlowNetsの利点が連続的領域へとどのように伝搬されるかを示すこと。
• 連続的GFlowNets学習におけるドメイン固有の課題を特定し、実用的なガイドラインを提供すること。

提案手法

• 測度的ポイント付きグラフ上でGFlowNetsを形式化し、マルコフ核を用いて有向非巡回グラフ（DAGs）を連続的およびハイブリッド状態空間へ一般化する。
• ラドン＝ニコディム微分と密度関数を用いて、流れマッチング、詳細つり合い、軌道つり合いの条件の連続的拡張を定義する。
• これらの条件に基づく勾配ベースの最適化に適した微分可能な学習損失を導出する。
• 流れマッチング、詳細つり合い、軌道つり合いのいずれの条件を満たしても、終了状態の測度が正規化定数を除きターゲット分布と一致することを証明する。
• ニューラルネットワークアーキテクチャと統合し、連続的領域における逐次的サンプラーのアモアタイズドでオフポリシー学習を可能にする。
• 混合離散的・連続的行動空間を含むタスクにおける実験を通じて、フレームワークを検証し、非GFlowNetベースラインと比較する。

Figure 1 : (a) Measurable pointed graph structure of the environment in § 4.1 : starting at $s_{0}$ , the first action makes a step within the grey quarter-disc, and subsequent actions make steps of a fixed size or terminate. (b) Evolution of the JSD during training of TB and DB, with both a uniform

実験結果

リサーチクエスチョン

• RQ1 離散的GFlowNetsの理論的基盤を連続的およびハイブリッド状態空間へ一般化できるか？
• RQ2 標準的なGFlowNetの目的関数（流れマッチング、詳細つり合い、軌道つり合い）は連続的領域でも有効で効果的であるか？
• RQ3 連続的領域における正規化されていないターゲット密度からの正しいサンプリングを保証するために必要な仮定と数学的構造は何か？
• RQ4 GFlowNetsの利点（例：安定なオフポリシー学習、モードカバレッジ）は連続的分布へとどのように伝搬されるか？
• RQ5 連続的設定でGFlowNetsを学習する際に生じる実用的課題は何か。それらはどのように緩和できるか？

主な発見

• 理論的に、連続的GFlowNetsの3つの条件（流れマッチング、詳細つり合い、軌道つり合い）のいずれかを満たすことで、学習された前方カーネルがターゲットの正規化されていない分布からサンプリングすることを保証する。
• 提案された学習損失は微分可能であり、勾配ベースの最適化が可能であり、既存の離散的GFlowNet損失が特別な場合として含まれる。
• 実験的結果から、GFlowNetsの利点（例：安定なオフポリシー学習、モードカバレッジ）が連続的およびハイブリッド状態空間へと効果的に伝搬されることが示された。
• 連続的および混合離散的・連続的構造を含むベンチマークタスクにおいて、一般化されたGFlowNetsは非GFlowNetベースラインよりもサンプリング品質と学習安定性において優れた性能を示した。
• 実験から、連続的GFlowNetsはベイジアン構造学習における連続的パラメータや分子コンformation空間における複雑な分布をモデル化できることも明らかになった。
• 研究では、密度推定における数値的不安定性やカーネル選択の課題といった連続的ドメイン固有の課題が特定され、これらは慎重なハイパーパramータチューニングを要することが判明した。

Figure 2 : (a) Reward density in $[0,1]^{2}$ . (b) KDE fit on terminating states of the models trained with TB, $\rho=0.25$ . (c) KDE fit on samples from the reward, brought back to $D_{0}$ using a uniform $P_{B}$ , corresponding to what $P_{F}(s_{0},-)$ needs to be in order to satisfy DB or TB. A r