[论文解读] CFlowNets: Continuous Control with Generative Flow Networks

Yinchuan Li, Shuang Luo+2 more|arXiv (Cornell University)|Mar 4, 2023

Reinforcement Learning in Robotics被引用 6

一句话总结

本文提出CFlowNets，一种新颖的框架，通过使用重要性采样和深度神经网络进行流近似，将生成流网络（GFlowNets）扩展至连续控制任务，采用连续流匹配损失。该方法在探索性能方面优于最先进强化学习算法，理论误差界表明随着样本量增加，收敛速度迅速提升。

ABSTRACT

Generative flow networks (GFlowNets), as an emerging technique, can be used as an alternative to reinforcement learning for exploratory control tasks. GFlowNet aims to generate distribution proportional to the rewards over terminating states, and to sample different candidates in an active learning fashion. GFlowNets need to form a DAG and compute the flow matching loss by traversing the inflows and outflows of each node in the trajectory. No experiments have yet concluded that GFlowNets can be used to handle continuous tasks. In this paper, we propose generative continuous flow networks (CFlowNets) that can be applied to continuous control tasks. First, we present the theoretical formulation of CFlowNets. Then, a training framework for CFlowNets is proposed, including the action selection process, the flow approximation algorithm, and the continuous flow matching loss function. Afterward, we theoretically prove the error bound of the flow approximation. The error decreases rapidly as the number of flow samples increases. Finally, experimental results on continuous control tasks demonstrate the performance advantages of CFlowNets compared to many reinforcement learning methods, especially regarding exploration ability.

研究动机与目标

• 将GFlowNets的理论公式扩展至连续状态和动作空间，使其适用于连续控制任务。
• 开发一种连续流匹配的训练框架，通过重要性采样和基于神经网络的流近似避免不可计算的积分。
• 对流近似的误差界进行理论分析，证明误差随样本量增加而迅速减小。
• 在连续控制基准上实证验证CFlowNets，证明其探索能力优于现有强化学习方法。
• 首次在连续控制中实现GFlowNets的实证演示，并公开代码以支持可复现性。

提出的方法

• 通过在连续状态-动作空间上用积分替代离散求和，基于轨迹平衡或细致平衡准则，提出连续流匹配损失函数。
• 使用深度神经网络预测采样轨迹中的父状态，从而高效近似流匹配约束中的流入和流出量。
• 使用重要性采样估计连续流入和流出量，避免在连续环境中遍历所有状态-动作对。
• 引入一种流采样机制，生成与流网络输出成比例的概率动作，实现主动探索。
• 推导出流近似的理论误差界，证明误差随流样本数量增加而迅速减小。
• 设计一种训练框架，集成流网络、用于父状态预测的检索网络，以及因内在探索效率而规模较小的回放缓冲区。

实验结果

研究问题

• RQ1 GFlowNets能否在理论上扩展至具有连续状态和动作空间的连续控制任务？
• RQ2 如何在不穷举所有状态-动作对的情况下，高效近似连续流匹配损失？
• RQ3 连续GFlowNets中流近似的理论误差界是什么？其随样本量如何变化？
• RQ4 CFlowNets能否在连续控制基准上，于探索效率和最终性能方面优于最先进强化学习算法？
• RQ5 由于内在探索能力优越，该方法是否能保持样本效率，从而减少对大回放缓冲区的需求？

主要发现

• CFlowNets在Point-Robot-Sparse、Reacher-Goal-Sparse和Swimmer-Sparse等连续控制任务中表现优异，其最终回报和学习稳定性优于DDPG、TD3、SAC和PPO。
• 该方法展现出显著更优的探索能力，实现比基线强化学习算法更快的收敛速度和更高的样本效率。
• 实验表明，由于内在探索能力强大，CFlowNets仅需较小的回放缓冲区（如Point-Robot-Sparse任务中仅需8,000个样本），而基线方法则需100,000个样本。
• 理论分析证实，随着流样本数量增加，流近似误差迅速减小，且误差分布的尾部随样本量增长而迅速衰减。
• CFlowNets在所有评估的连续控制环境中均达到最先进性能，在稀疏奖励设置下探索能力关键的场景中表现出一致优势。
• 代码已公开发布于Gitee，支持可复现性，并推动连续GFlowNets的进一步研究。