[论文解读] A theory of continuous generative flow networks

Salem Lahlou, Tristan Deleu+7 more|arXiv (Cornell University)|Jan 30, 2023

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出了一种生成流网络（GFlowNets）的广义理论，通过使用可测有向图和马尔可夫核，将流匹配、细致平衡和轨迹平衡条件的形式化，将GFlowNets的应用范围从离散状态空间扩展到连续和混合状态空间。主要贡献是理论证明：满足任意一种条件均可确保学习到的前向核从目标未归一化分布中采样，从而在连续领域实现稳定且基于梯度的训练，并在经验性能上显著优于非GFlowNet基线方法。

ABSTRACT

Generative flow networks (GFlowNets) are amortized variational inference algorithms that are trained to sample from unnormalized target distributions over compositional objects. A key limitation of GFlowNets until this time has been that they are restricted to discrete spaces. We present a theory for generalized GFlowNets, which encompasses both existing discrete GFlowNets and ones with continuous or hybrid state spaces, and perform experiments with two goals in mind. First, we illustrate critical points of the theory and the importance of various assumptions. Second, we empirically demonstrate how observations about discrete GFlowNets transfer to the continuous case and show strong results compared to non-GFlowNet baselines on several previously studied tasks. This work greatly widens the perspectives for the application of GFlowNets in probabilistic inference and various modeling settings.

研究动机与目标

• 将GFlowNets的理论基础从离散状态空间推广至连续和混合状态空间。
• 基于可测有向图和马尔可夫核，建立连续GFlowNets的严格数学框架。
• 证明满足流匹配、细致平衡或轨迹平衡条件中的任意一种，即可确保从目标未归一化分布中正确采样。
• 通过实证验证理论，并展示离散GFlowNets的优势在连续领域中的可迁移性。
• 提供实用指导，并识别连续GFlowNet训练中的特定领域挑战。

提出的方法

• 在可测有向图上形式化GFlowNets，通过马尔可夫核将有向无环图（DAGs）推广至连续和混合空间。
• 利用Radon-Nikodym导数和密度函数，定义流匹配、细致平衡和轨迹平衡条件的连续扩展。
• 推导基于这些条件的可微训练损失，适用于基于梯度的优化。
• 证明：只要满足三种条件中的任意一种——流匹配、细致平衡或轨迹平衡——即可保证终止状态测度与目标分布（归一化前）一致。
• 将理论与神经网络架构结合，实现在连续空间中对序列采样器的近似化、非策略性学习。
• 通过涉及混合离散-连续动作空间的任务实验，验证框架，并与非GFlowNet基线方法进行比较。

Figure 1 : (a) Measurable pointed graph structure of the environment in § 4.1 : starting at $s_{0}$ , the first action makes a step within the grey quarter-disc, and subsequent actions make steps of a fixed size or terminate. (b) Evolution of the JSD during training of TB and DB, with both a uniform

实验结果

研究问题

• RQ1 离散GFlowNets的理论基础能否推广至连续和混合状态空间？
• RQ2 标准GFlowNet目标——流匹配、细致平衡和轨迹平衡——在连续领域中是否依然有效？
• RQ3 为确保在连续空间中从未归一化目标密度中正确采样，需要哪些必要假设和数学结构？
• RQ4 GFlowNets的优势（如稳定非策略学习和模式覆盖）能否有效迁移到连续分布？
• RQ5 在连续设置中训练GFlowNets时会遇到哪些实际挑战，以及如何缓解？

主要发现

• 该理论证明：满足任意一种连续GFlowNets条件——流匹配、细致平衡或轨迹平衡——即可确保学习到的前向核从目标未归一化分布中采样。
• 所提出的训练损失是可微的，支持基于梯度的优化，且现有离散GFlowNet损失为其特例。
• 实证结果表明，GFlowNets的优势（如稳定非策略学习和模式覆盖）可有效迁移至连续和混合状态空间。
• 在涉及连续和混合离散-连续结构的基准任务中，广义GFlowNets在采样质量和训练稳定性方面均优于非GFlowNet基线方法。
• 实验表明，连续GFlowNets能够建模复杂分布，包括贝叶斯结构学习中的连续参数分布和分子构象空间中的分布。
• 本研究识别出连续领域中的特定挑战，如密度估计中的数值不稳定性及核选择问题，需通过仔细的超参数调优来应对。

Figure 2 : (a) Reward density in $[0,1]^{2}$ . (b) KDE fit on terminating states of the models trained with TB, $\rho=0.25$ . (c) KDE fit on samples from the reward, brought back to $D_{0}$ using a uniform $P_{B}$ , corresponding to what $P_{F}(s_{0},-)$ needs to be in order to satisfy DB or TB. A r