[论文解读] When Blockchain Meets AI: Optimal Mining Strategy Achieved By Machine Learning

Taotao Wang, Soung Chang Liew+1 more|arXiv (Cornell University)|Nov 29, 2019

Blockchain Technology Applications and Security参考文献 29被引用 17

一句话总结

本文提出了一种基于强化学习（RL）的比特币类区块链挖矿策略，该策略无需事先了解网络参数即可动态学习最优挖矿行为。通过将挖矿问题建模为非线性马尔可夫决策过程（MDP），并设计一种新型多维强化学习算法，该方法即使在时变网络条件下也能实现接近最优的挖矿奖励，当参数动态变化时，其性能优于基于模型的策略。

ABSTRACT

This work applies reinforcement learning (RL) from the AI machine learning field to derive an optimal Bitcoin-like blockchain mining strategy without knowing the details of the blockchain network model. Previously, the most profitable mining strategy was believed to be honest mining encoded in the default blockchain protocol. It was shown later that it is possible to gain more mining rewards by deviating from honest mining. In particular, the mining problem can be formulated as a Markov Decision Process (MDP) which can be solved to give the optimal mining strategy. However, solving the mining MDP requires knowing the values of various parameters that characterize the blockchain network model. In real blockchain networks, these parameter values are not easy to obtain and may change over time. This hinders the use of the MDP model-based solution. In this work, we employ RL to dynamically learn a mining strategy with performance approaching that of the optimal mining strategy by observing and interacting with the network. Since the mining MDP problem has a non-linear objective function (rather than linear functions of standard MDP problems), we design a new multi-dimensional RL algorithm to solve the problem. Experimental results indicate that, without knowing the parameter values of the mining MDP model, our multi-dimensional RL mining algorithm can still achieve the optimal performance over time-varying blockchain networks.

研究动机与目标

• 解决在关键参数（如挖矿算力比 α 和网络延迟 γ）未知或时变的动态区块链网络中推导最优挖矿策略的挑战。
• 克服基于模型的方法的局限性，后者需要完全掌握区块链 MDP 参数才能计算最优策略。
• 开发一种基于学习的挖矿策略，可在不从头重新训练或依赖静态模型的情况下适应网络条件的变化。
• 证明即使底层 MDP 模型为非线性且复杂，RL 也能实现接近理论最优的挖矿性能。
• 通过未来工作中探索深度强化学习和增强的 MDP 模型，为实用的自适应挖矿系统奠定基础。

提出的方法

• 将挖矿问题建模为具有大规模状态-动作空间的非线性马尔可夫决策过程（MDP），以捕捉区块传播、挖矿算力和网络延迟的动力学特性。
• 设计一种新型多维强化学习算法，以处理挖矿 MDP 的非线性目标函数，这是标准 RL 方法无法直接求解的问题。
• RL 代理通过与区块链环境的试错交互进行学习，根据随时间累积的挖矿奖励更新其策略。
• 算法采用 ε-贪婪探索策略，并引入温度参数 $ T_{ ho} $，以在学习过程中平衡探索与利用。
• 通过在不同 $ \rho $、$ \rho $ 和 $ \rho $ 条件下的仿真环境评估性能，将代理的挖矿收益与最优挖矿和自私挖矿基准进行比较。
• 在多种场景下对方法进行验证，包括静态和时变网络参数，以评估其适应性和收敛性。

实验结果

研究问题

• RQ1 强化学习是否能够在不了解区块链网络参数（如挖矿算力比 α 和网络延迟 γ）的情况下学习到最优挖矿策略？
• RQ2 当网络参数随时间变化时，基于 RL 的挖矿策略性能与基于模型的最优策略相比如何？
• RQ3 RL 代理是否能够实时调整策略，以在动态区块链环境中维持高挖矿奖励？
• RQ4 探索温度 $ T_{\rho} $ 对 RL 挖矿策略收敛速度和最终性能的影响是什么？
• RQ5 在不同网络条件下，基于 RL 的策略相对于自私挖矿和最优策略基准的表现如何？

主要发现

• 基于 RL 的挖矿策略即使在不了解底层区块链 MDP 参数的情况下，其挖矿收益也能收敛至接近最优水平。
• 在 α 和 γ 发生变化的时变环境中，RL 代理优于基于静态 MDP 模型推导出的固定最优策略，展现出更强的适应能力。
• 当 $ \alpha = 0.45 $ 时，RL 代理的挖矿收益接近理论最优值，如收敛图（图 12–14）所示。
• RL 代理在不同 $ T_{\rho} $ 值下均保持良好性能，且在较高 $ T_{\rho} $ 时收敛更快，表明探索机制有效。
• 当环境参数发生改变时（例如从 (0.35,1) 变为 (0.35,0.5)），RL 策略能够自适应调整并维持高奖励，而预计算的最优策略性能显著下降。
• 该方法表现出鲁棒性和可扩展性，$ \alpha = 0.35, \gamma = 1 $ 的最优策略已推导并列于表 II 中，适用于 $ l^{(a)} \leq 8 $ 和 $ l^{(h)} \leq 8 $。