[论文解读] DyFEn: Agent-Based Fee Setting in Payment Channel Networks

Kiana Asgari, Aida Afshar Mohammadian+1 more|arXiv (Cornell University)|Oct 15, 2022

Blockchain Technology Applications and Security被引用 9

一句话总结

本文提出了 DyFEn，一个用于模拟比特币闪电网络中动态费用设定的开源强化学习环境。通过将费用优化建模为马尔可夫决策过程，并训练如 PPO 等深度强化学习智能体，DyFEn 使智能体实现的收入最高可达启发式策略的十倍，证明了强化学习在现实世界区块链费用优化中的可行性。

ABSTRACT

In recent years, with the development of easy to use learning environments, implementing and reproducible benchmarking of reinforcement learning algorithms has been largely accelerated by utilizing these frameworks. In this article, we introduce the Dynamic Fee learning Environment (DyFEn), an open-source real-world financial network model. It can provide a testbed for evaluating different reinforcement learning techniques. To illustrate the promise of DyFEn, we present a challenging problem which is a simultaneous multi-channel dynamic fee setting for off-chain payment channels. This problem is well-known in the Bitcoin Lightning Network and has no effective solutions. Specifically, we report the empirical results of several commonly used deep reinforcement learning methods on this dynamic fee setting task as a baseline for further experiments. To the best of our knowledge, this work proposes the first virtual learning environment based on a simulation of blockchain and distributed ledger technologies, unlike many others which are based on physics simulations or game platforms.

研究动机与目标

• 为在支付通道网络中训练和评估强化学习提供真实、开源的基准。
• 将闪电网络中的动态费用设定建模为马尔可夫决策过程，以实现利润最大化。
• 在模拟的、接近现实的环境中，评估深度强化学习算法相较于现有启发式费用策略的性能。
• 证明深度强化学习在收入和对初始余额变化的鲁棒性方面，优于静态和启发式费用策略。
• 提供一个可扩展、可扩展的测试平台（DyFEn），基于 LEViN，以支持未来对第二层区块链协议的研究。

提出的方法

• DyFEn 基于 LEViN 构建，LEViN 是一个高性能的链下支付通道网络模拟器，可精确建模闪电网络的拓扑结构和交易路由。
• 将费用设定问题形式化为马尔可夫决策过程，其中动作为节点通道的费率和基础费用。
• 环境采用局部化策略，聚焦于节点的本地网络邻域，以提升训练效率并捕捉拓扑依赖关系。
• 在 DyFEn 上训练并评估五种深度强化学习算法——PPO、DQN、DDPG、SAC 和 TD3，以比较其性能。
• 奖励为稀疏奖励，基于路由支付的累计收入，收入计算为各轮次中收取费用的总和。
• 实验使用真实的闪电网络快照，并通过改变初始通道余额来测试所学策略的鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 深度强化学习能否在最大化闪电网络支付路由收入方面超越启发式费用策略？
• RQ2 节点网络邻域的局部化大小如何影响 DRL 智能体在费用设定中的性能和收敛性？
• RQ3 与启发式方法相比，基于 DRL 的费用策略对初始通道余额变化的敏感性如何？
• RQ4 在 DyFEn 环境中，哪种 DRL 算法能实现最高收入和最稳定的性能表现？
• RQ5 像 DyFEn 这样的模拟环境能否作为评估真实世界区块链应用中强化学习方法的可靠基准？

主要发现

• 在局部化大小 L=100 的 DyFEn 上训练的 PPO 智能体，其收入显著高于其他算法，表现出更优的性能。
• PPO 在多次随机初始化下均表现出一致且快速的收敛，表明其训练稳定性强。
• PPO 智能体实现的收入几乎达到表现最佳的启发式基线（比例策略）的十倍，尤其在初始余额变化条件下优势明显。
• 较小的局部化大小（L=100）比更大的大小（L=500）带来了更高的收入，凸显了局部拓扑结构在费用优化中的重要性。
• 比例启发式策略对初始余额高度敏感，常导致零收入，而 DRL 智能体在所有初始化条件下均保持高水平性能。
• 在收入和收敛速度方面，PPO 等在线策略算法优于 DDPG 和 SAC 等离线策略方法，表明其更适合此任务。