[論文レビュー] A Proof of Useful Work for Artificial Intelligence on the Blockchain

Andrei Lihu, Jincheng Du+3 more|arXiv (Cornell University)|Jan 25, 2020

Blockchain Technology Applications and Security参考文献 25被引用数 7

ひとこと要約

この論文は、ビットコインのエネルギー集約的なハッシュ化を置き換え、ブロックチェーン上でディープニューラルネットワーク（DNN）の学習を実行することで、誠実で検証可能な機械学習作業を実行する証明としての「有用な作業の証明」（PoUW）プロトコルを提案する。マイナーは、ML学習の反復回数から非スラング（nonce）を導出し、決定論的な検証を可能にすることで、計算的作業が有用かつ安全であることを保証する。このシステムにより、従来のPoWマイニングよりも持続可能で収益性の高い代替手段が提供される。

ABSTRACT

Bitcoin mining is a wasteful and resource-intensive process. To add a block of transactions to the blockchain, miners spend a considerable amount of energy. The Bitcoin protocol, named 'proof of work' (PoW), resembles a lottery and the underlying computational work is not useful otherwise. In this paper, we describe a novel 'proof of useful work' (PoUW) protocol based on training a machine learning model on the blockchain. Miners get a chance to create new coins after performing honest ML training work. Clients submit tasks and pay all training contributors. This is an extra incentive to participate in the network because the system does not rely only on the lottery procedure. Using our consensus protocol, interested parties can order, complete, and verify useful work in a distributed environment. We outline mechanisms to reward useful work and punish malicious actors. We aim to build better AI systems using the security of the blockchain.

研究の動機と目的

• ビットコインのエネルギー集約的な作業証明（PoW）マイニングに起因する環境的・経済的非効率性を是正すること。
• マイナーが無作為なハッシュ化ではなく、有用な機械学習（ML）作業を実行する分散型の合意形成プロトコルを設計すること。
• 信頼できない、ブロックチェーンベースの環境において、ML学習の整合性と検証可能性を保証すること。
• 分散型ML学習システムにおいて、誠実な参加を報酬し、悪意ある行動を罰するインcentive（インセンティブ）を設計すること。
• このPoUWフレームワークを用いて、一般ハードウェアが共同で高性能なDNNを学習できるかを実証すること。

提案手法

• 作業者ノード間で分散型DNN学習を調整するため、ハイブリッドPoW/POSブロックチェーン（PAIブロックチェーン）を用いる。
• マイナーは、各ノードがローカルモデルのレプリカを保持し、割り当てられたデータバッチを使って更新するデータ並列型DNN学習を実行する。
• 各反復におけるモデル重みと勾配に基づく式を用いて、ブロックマイニング用の非スラング（nonce）をML学習プロセスから導出する。
• 検証は、マイナーが主張する特定の学習反復を再実行することで行われ、決定論的かつ効率的な検証が可能になる。
• DoS攻撃への対処として、攻撃中は誠実なノードがオフチェーンで協調し、合意が回復した後に再開できる一時停止／再開メカニズムを導入する。
• セキュリティメカニズムには、不正なブロックに対してステークを没収する措置、ブロックレート制限、1024ブロックごとの定期的チェックポイントを設けることで、長距離攻撃を防止する。

実験結果

リサーチクエスチョン

• RQ1 機械学習の学習が、ブロックチェーン上で安全で検証可能かつインcentive-compatible（インcentiveに整合した）合意形成プロトコルの基盤として利用可能か？
• RQ2 信頼できる第三者に依存せずに、分散MLにおける有用な作業を決定論的に検証するにはどうすればよいか？
• RQ3 悪意あるマイナーが安価または無作業でブロックマイニングを実行するのを防ぐにはどのようなメカニズムが必要か？
• RQ4 ML学習をブロックチェーンマイニングに統合することで、従来のPoWと比較してコスト、パフォーマンス、分散性にどのような影響を与えるか？
• RQ5 一般ハードウェアを用いたPoUWシステムが、集中型クラウドベースのML学習と同等のパフォーマンスを達成できるか？

主な発見

• PoUWプロトコルは、従来のハッシュ化を検証可能なDNN学習に置き換えることに成功し、マイニングを有用かつ安全なものにした。
• マイナーの作業の検証は効率的かつ決定論的であり、主張された学習反復を再実行するだけで可能である。
• このシステムは、一般ハードウェア上で分散型DNN学習を実行しても、実世界のAI応用に適したパフォーマンスを達成できることを示した。
• 分散型でインcentiveが整合するモデルであるため、従来のクラウドML学習と比較して、クライアントはより低いコストで利用できる。
• クライアント側からの報酬とブロック報酬のおかげで、ビットコインマイニングよりもマイナーの収益が高くなるため、ネットワーク参加の長期的持続性が向上した。
• ステーク没収、レート制限、定期的チェックポイントにより、DoS攻撃や長距離攻撃に対して効果的に対抗できることが実証された。