[論文レビュー] DyFEn: Agent-Based Fee Setting in Payment Channel Networks

Kiana Asgari, Aida Afshar Mohammadian+1 more|arXiv (Cornell University)|Oct 15, 2022

Blockchain Technology Applications and Security被引用数 9

ひとこと要約

本稿では、ビットコインのライトニングネットワークにおける動的手数料設定をシミュレートするためのオープンソース強化学習環境、DyFEnを紹介する。手数料最適化をマルコフ意思決定過程としてモデル化し、PPOなどのDRLエージェントを訓練することで、ヒューリスティック戦略に比べて最大10倍の収益を達成する。これは、実世界のブロックチェーン手数料最適化におけるRLの実現可能性を示している。

ABSTRACT

In recent years, with the development of easy to use learning environments, implementing and reproducible benchmarking of reinforcement learning algorithms has been largely accelerated by utilizing these frameworks. In this article, we introduce the Dynamic Fee learning Environment (DyFEn), an open-source real-world financial network model. It can provide a testbed for evaluating different reinforcement learning techniques. To illustrate the promise of DyFEn, we present a challenging problem which is a simultaneous multi-channel dynamic fee setting for off-chain payment channels. This problem is well-known in the Bitcoin Lightning Network and has no effective solutions. Specifically, we report the empirical results of several commonly used deep reinforcement learning methods on this dynamic fee setting task as a baseline for further experiments. To the best of our knowledge, this work proposes the first virtual learning environment based on a simulation of blockchain and distributed ledger technologies, unlike many others which are based on physics simulations or game platforms.

研究の動機と目的

• 支払いチャネルネットワークにおける強化学習の訓練および評価のための現実的でオープンソースのベンチマークが不足している問題に対処すること。
• ライトニングネットワークにおける動的手数料設定を、利益最大化のためのマルコフ意思決定過程としてモデル化すること。
• シミュレートされた現実的で類似した環境において、深層強化学習アルゴリズムと既存のヒューリスティック手数料戦略の性能を評価すること。
• DRLが静的およびヒューリスティック手数料ポリシーに比べ、収益および初期バランスの変動に対する耐性の面で優れていることを実証すること。
• 将来の2層ブロックチェーンプロトコルに関する研究を想定し、LEViNに基づいて構築されたスケーラブルで拡張可能なテストベッド（DyFEn）を提供すること。

提案手法

• DyFEnは、オフチェーン支払いチャネルネットワークのための高性能シミュレータであるLEViNに基づいて構築されており、LNトポロジーと取引ルーティングの正確なモデリングを可能にしている。
• 手数料設定問題は、アクションがノードのチャネルにおける手数料レートとベース手数料であるマルコフ意思決定過程として形式化されている。
• 環境は局所化を用いてノードの局所的ネットワーク近隣に焦点を当てており、訓練効率の向上とトポロジカル依存性の捉え込みを実現している。
• PPO、DQN、DDPG、SAC、TD3の5つの深層強化学習アルゴリズムがDyFEn上で訓練および評価され、性能を比較した。
• 報酬はスパarsely設定されており、エピソード全体におけるルーティングされた支払いからの累積収益に基づいている。収益は、エピソード全体で回収された手数料の合計として計算される。
• 実験では実際のLNスナップショットが使用され、初期チャネルバランスを変化させることで、学習済みポリシーのロバストネスと一般化能力をテストした。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、ライトニングネットワークにおける支払いルーティングから得られる収益を最大化するという観点で、ヒューリスティック手数料戦略を上回ることができるか？
• RQ2 ノードのネットワーク近隣の局所化サイズが、手数料設定におけるDRLエージェントの性能および収束に与える影響は何か？
• RQ3 DRLベースの手数料ポリシーは、ヒューリスティック手法と比較して初期チャネルバランスの変動に対してどれほど感受性を示すか？
• RQ4 どのDRLアルゴリズムがDyFEn環境で最高の収益と最も安定した性能を達成しているか？
• RQ5 DyFEnのようなシミュレート環境は、実世界のブロックチェーンアプリケーションにおけるRL手法の評価のための信頼できるベンチマークとして機能できるか？

主な発見

• 局所化サイズL=100で訓練されたPPOエージェントは、他のアルゴリズムと比べて顕著に高い収益を達成し、優れた性能を示した。
• PPOは複数回のランダム初期化において一貫性があり、高速な収束を示し、訓練の安定性が優れていることがわかった。
• PPOエージェントは、特に初期バランスの変動する条件下でも、最高のヒューリスティックベースライン（比例戦略）と比べてほぼ10倍の収益を達成した。
• 小さな局所化サイズ（L=100）は、大きなサイズ（L=500）よりも高い収益をもたらした。これは、手数料最適化において局所的トポロジカル構造の重要性を示している。
• 比例ヒューリスティック戦略は初期バランスに非常に感受性が高く、しばしば収益がゼロとなるのに対し、DRLエージェントはすべての初期化条件で高い性能を維持した。
• PPOのようなオンポリシー手法は、DDPG や SAC などのオフポリシー手法よりも収益および収束速度の両面で優れており、本タスクに適していることが示唆された。