[論文レビュー] When Blockchain Meets AI: Optimal Mining Strategy Achieved By Machine Learning

Taotao Wang, Soung Chang Liew+1 more|arXiv (Cornell University)|Nov 29, 2019

Blockchain Technology Applications and Security参考文献 29被引用数 17

ひとこと要約

本稿では、ネットワークパラメータの事前知識がなくても、動的かつ最適なマイニング行動を学習できる強化学習（RL）ベースのマイニング戦略を提案する。マイニング問題を非線形なマルコフ決定過程（MDP）として定式化し、新規の多次元RLアルゴリズムを設計することで、時間変動するネットワーク環境においても、最適に近いマイニング報酬を達成する。パラメータが動的に変化する状況では、モデルベースの戦略を上回る性能を発揮する。

ABSTRACT

This work applies reinforcement learning (RL) from the AI machine learning field to derive an optimal Bitcoin-like blockchain mining strategy without knowing the details of the blockchain network model. Previously, the most profitable mining strategy was believed to be honest mining encoded in the default blockchain protocol. It was shown later that it is possible to gain more mining rewards by deviating from honest mining. In particular, the mining problem can be formulated as a Markov Decision Process (MDP) which can be solved to give the optimal mining strategy. However, solving the mining MDP requires knowing the values of various parameters that characterize the blockchain network model. In real blockchain networks, these parameter values are not easy to obtain and may change over time. This hinders the use of the MDP model-based solution. In this work, we employ RL to dynamically learn a mining strategy with performance approaching that of the optimal mining strategy by observing and interacting with the network. Since the mining MDP problem has a non-linear objective function (rather than linear functions of standard MDP problems), we design a new multi-dimensional RL algorithm to solve the problem. Experimental results indicate that, without knowing the parameter values of the mining MDP model, our multi-dimensional RL mining algorithm can still achieve the optimal performance over time-varying blockchain networks.

研究の動機と目的

• マイニングパワー比（α）やネットワーク遅延（γ）といった重要なパラメータが未知または時間変動する動的ブロックチェーンネットワークにおいて、最適なマイニング戦略を導出する課題に対処すること。
• ブロックチェーンMDPパラメータの完全な知識を必要とするモデルベースのアプローチの限界を克服すること。
• 再訓練を再び行う必要なく、静的モデルに依存せずに変化するネットワーク条件に適応できる学習ベースのマイニング戦略を開発すること。
• 非線形で複雑なMDPモデルを有する環境において、RLが理論的最適値に近いマイニングパフォーマンスを達成できることを示すこと。
• 今後の研究において、深層強化学習と強化されたMDPモデルを活用して、実用的で適応可能なマイニングシステムの基盤を築くこと。

提案手法

• マイニング問題は、ブロック伝搬、マイニングパワー、ネットワーク遅延のダイナミクスを捉える、巨大な状態行動空間を持つ非線形マルコフ決定過程（MDP）としてモデル化される。
• 標準的なRL手法が直接解けないマイニングMDPの非線形目的関数に対応できる、新規の多次元強化学習アルゴリズムが設計される。
• RLエージェントは、ブロックチェーン環境との試行錯誤による相互作用を通じて学習し、時間経過に伴う累積マイニング報酬に基づいて方策を更新する。
• 学習中の探索と活用のバランスを図るため、温度パrameter $ T_{ ho} $ を用いたε-greedy探索戦略が採用される。
• 性能評価は、$ \rho $, $ \rho $, および $ \rho $ が変化するシミュレーション環境を用い、エージェントのマイニング利益を最適および自己中心的マイニングのベンチマークと比較して実施される。
• 静的および時間変動するネットワークパラメータを含む複数のシナリオで検証され、適応性と収束性が評価される。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、マイニングパワー比（α）やネットワーク遅延（γ）といったブロックチェーンネットワークパラメータの事前知識がなくても、最適なマイニング戦略を学習できるか？
• RQ2 ネットワークパラメータが時間とともに変化する状況において、RLベースのマイニング戦略のパフォーマンスは、モデルベースの最適方策と比べてどうなるか？
• RQ3 RLエージェントは、動的ブロックチェーン環境においてリアルタイムで戦略を適応させ、高いマイニング報酬を維持できるか？
• RQ4 探索温度 $ T_{ ho} $ は、RLマイニング方策の収束速度と最終的パフォーマンスにどのような影響を与えるか？
• RQ5 さまざまなネットワーク条件下で、RLベースの戦略は自己中心的マイニングおよび最適方策ベンチマークに対して、どのように性能を発揮するか？

主な発見

• RLベースのマイニング戦略は、ブロックチェーンMDPパラメータの事前知識がなくても、近似的に最適なレベルにまでマイニング利益が収束することを示した。
• αとγが時間変動する環境では、静的MDPモデルから導かれた固定最適方策よりも、RLエージェントが優れた適応性を示し、優れた性能を発揮した。
• α = 0.45 の場合、収束プロット（図12～14）により、理論的最適値に近いマイニング利益が達成された。
• 異なる $ T_{ ho} $ の値に対しても、RLエージェントは高いパフォーマンスを維持しており、高い $ T_{ ho} $ では収束が速い傾向にあり、効果的な探索が行われていることが示された。
• 環境パラメータが変化した場合（例：(0.35,1) から (0.35,0.5) に変更）、RL戦略は適応し、高い報酬を維持したが、事前に計算された最適方策は著しく劣化した。
• 本手法は、強靭性とスケーラビリティを示しており、$ \alpha = 0.35, \gamma = 1 $ の最適方策は、$ l^{(a)} \leq 8 $ および $ l^{(h)} \leq 8 $ の範囲で表IIに導出・表記された。