[論文レビュー] FedCoin: A Peer-to-Peer Payment System for Federated Learning

Yuan Liu, Shuai Sun+4 more|arXiv (Cornell University)|Feb 26, 2020

Privacy-Preserving Technologies in Data参考文献 17被引用数 22

ひとこと要約

FedCoinは、フェデレーテッドラーニングにおけるフェアなインセンティブを提供するブロックチェーンベースのピアツーピア決済システムを提案する。本手法は、クライアントに対するシャープレイ値（SVs）を計算・分配するための新規な「シャープレイ証明（PoSap）」コンセンサスプロトコルを採用している。分散型計算リソースを活用して、リソースコストを限定した範囲でSVsを計算することで、非中央集権的で改ざん不能かつ否認不能なインセンティブ分配を実現し、高品質なデータ寄与を促進するとともに、データ所有権を持たないエージェンシーの参加を可能にする。

ABSTRACT

Federated learning (FL) is an emerging collaborative machine learning method to train models on distributed datasets with privacy concerns. To properly incentivize data owners to contribute their efforts, Shapley Value (SV) is often adopted to fairly assess their contribution. However, the calculation of SV is time-consuming and computationally costly. In this paper, we propose FedCoin, a blockchain-based peer-to-peer payment system for FL to enable a feasible SV based profit distribution. In FedCoin, blockchain consensus entities calculate SVs and a new block is created based on the proof of Shapley (PoSap) protocol. It is in contrast to the popular BitCoin network where consensus entities "mine" new blocks by solving meaningless puzzles. Based on the computed SVs, a scheme for dividing the incentive payoffs among FL clients with nonrepudiation and tamper-resistance properties is proposed. Experimental results based on real-world data show that FedCoin can promote high-quality data from FL clients through accurately computing SVs with an upper bound on the computational resources required for reaching consensus. It opens opportunities for non-data owners to play a role in FL.

研究の動機と目的

• フェデレーテッドラーニング（FL）における公平なインセンティブ分配のためのシャープレイ値（SVs）の計算にかかる高コストを解消すること。
• 中央サーバーに依存せずに、分散型で信頼性があり改ざんに強いインセンティブ配分を実現すること。
• FLエコシステム内に眠っている計算リソースを活用し、SV計算を実行することで、データ所有権を持たないエージェンシーの参加を促進すること。
• 従来のプルーフ・オブ・ワークに代わる意味のある計算に基づく、シャープレイ値（SVs）に焦点を当てた新しいコンセンサスメカニズム「シャープレイ証明（PoSap）」を設計すること。
• 採掘難易度の上昇に対しても、コンセンサスの計算コストが上限に抑えられ、実用的であることを保証すること。

提案手法

• 暗号的プuzzleの代わりに、フェデレーテッドラーニングクライアントのシャープレイ値（SVs）を計算するという点で、新たなコンセンサスプロトコル「シャープレイ証明（PoSap）」を導入する。
• 各コンセンサスノードは、計算複雑性を低減するためのグループサンプリングに基づく近似法を独立して用いてSV計算を実行する。
• PoSapプロトコルに従い、すべてのFLクライアントのSVsが正しく計算・検証された後、のみ新しいブロックが生成される。
• 支払いはブロックチェーン上に改ざん不能で暗号的に保護された形で記録され、否認不能性と改ざん耐性を確保する。
• PoSapにおける難易度パrameterを用いてブロック生成時間を制御し、高難易度下でも計算コストが約2,500回のSV計算イテレーションに上限が抑えられることを確認した。
• Dockerコンテナを用いて実装され、シミュレーション環境内でのコンセンサスノード間の独立した通信と調整が可能になっている。

実験結果

リサーチクエスチョン

• RQ1 計算コストが限定的であることを保証しつつ、フェデレーテッドラーニングにおけるシャープレイ値（SVs）をブロックチェーンベースで計算できるシステムを設計できるか？
• RQ2 従来のプルーフ・オブ・ワークのように無駄な計算ではなく、インセンティブの公平性に寄与する意味のある計算に基づいたコンセンサスプロトコルをどのように構築できるか？
• RQ3 提案されたPoSapプロトコルは、高品質なデータ寄与者にのみ正のインセンティブが分配され、低品質または悪意あるデータ寄与者は除外されることを保証できるか？
• RQ4 採掘難易度の上昇に伴い、システムの計算コストはどの程度増加するか？また、現実的な条件下でも上限が存在するか？
• RQ5 計算能力を持つがデータ所有権を持たないエージェンシーは、このインセンティブメカニズムを通じて、フェデレーテッドラーニングエコシステムに有意義に貢献できるか？

主な発見

• FedCoinは、FLクライアントのシャープレイ値（SVs）を正確に計算しており、その結果、$T_0$から$T_4$のデータタイプに属するクライアントにのみ正のSVsが割り当てられており、モデル精度向上に寄与していることが示された。
• 低品質なデータ（例：$T_5$から$T_9$）を提供するクライアントには負のSVsが割り当てられており、モデル性能を低下させると判断され、インセンティブ対象から除外されている。
• 高難易度（$D < 10^{-3}$）下で、FedCoinのブロック生成時間は約2,500回のシャープレイ計算イテレーションに収束しており、計算コストが限定的かつ実行可能であることを示している。
• 地球移動距離（Earth Mover’s Distance）で測定したデータ品質の線形的低下（$T_0$から$T_9$へ）が、SVsの減少と相関しており、高品質なデータ寄与が促進されていることが裏付けられた。
• PoSapプロトコルは、正当で検証済みのSV計算のみがブロック生成を許可するよう保証しており、システムの整合性を維持するとともに、分散型で信頼性のあるインセンティブ配分を実現している。
• 著者らの知る限り、FedCoinは、フェデレーテッドラーニングにおけるブロックチェーン技術とシャープレイ値ベースのインcentiveメカニズムを統合した最初のシステムであり、データ所有権を持たない計算寄与者による参加を可能にしている。