[論文レビュー] 2CP: Decentralized Protocols to Transparently Evaluate Contributivity in Blockchain Federated Learning Environments
本稿では、Ethereumスマートコントラクトを用いた分散型フレームワーク2CPを提案する。このフレームワークは、ブロックチェーン統合型フェデレーテッドラーニングにおける参加者に対する公平な評価と報酬分配を可能にする。2つのプロトコル—CrowdsourceおよびConsortium—を導入し、段階的評価を用いて、データセットのサイズおよび品質に比例したモデル所有権割合を割り当てる。これにより、中央機関が存在しない状況下でも、公平で透明かつ信頼できない報酬分配が実現される。
Federated Learning harnesses data from multiple sources to build a single model. While the initial model might belong solely to the actor bringing it to the network for training, determining the ownership of the trained model resulting from Federated Learning remains an open question. In this paper we explore how Blockchains (in particular Ethereum) can be used to determine the evolving ownership of a model trained with Federated Learning. Firstly, we use the step-by-step evaluation metric to assess the relative contributivities of participants in a Federated Learning process. Next, we introduce 2CP, a framework comprising two novel protocols for Blockchained Federated Learning, which both reward contributors with shares in the final model based on their relative contributivity. The Crowdsource Protocol allows an actor to bring a model forward for training, and use their own data to evaluate the contributions made to it. Potential trainers are guaranteed a fair share of the resulting model, even in a trustless setting. The Consortium Protocol gives trainers the same guarantee even when no party owns the initial model and no evaluator is available. We conduct experiments with the MNIST dataset that reveal sound contributivity scores resulting from both Protocols by rewarding larger datasets with greater shares in the model. Our experiments also showed the necessity to pair 2CP with a robust model aggregation mechanism to discard low quality inputs coming from model poisoning attacks.
研究の動機と目的
- 中央機関による信頼性の確認が不可能な状況下で、フェデレーテッドラーニングにおけるモデル所有権の公平な割り当てを実現すること。
- 参加者のデータ貢献度に基づき、実際に貢献した内容に応じて公平に報酬を分配する分散型で信頼性のあるプロトコルの設計。
- 特にEthereumを用いたブロックチェーン技術とフェデレーテッドラーニングを統合し、検証可能で透明かつ自動化された報酬分配を実現すること。
- モデル汚染攻撃およびデータ品質の変動に対する貢献度スコアリングの耐性を評価すること。
- 中央コーディネーターを必要とせずに、クラウドソーシングおよびコンsortium設定の両方をサポートするフレームワークの開発。
提案手法
- 本稿では、参加者ごとの相対的貢献度をモデル性能に与える影響を測定するための貢献度指標として、段階的評価を導入する。
- Crowdsourceプロトコルは、モデル所有者がトレーニングを開始し、自らのデータを用いて貢献度を評価することで、信頼できない環境下でも公平な報酬分配を実現する。
- Consortiumプロトコルは、モデル所有者や評価者を必要としない分散型トレーニングを可能にし、ブロックチェーン上のスマートコントラクトを用いて貢献度に応じた公平な所有権割合を保証する。
- 両プロトコルとも、計算された貢献度スコアに基づき報酬割り当てを強制するEthereumスマートコントラクトを用いる。これにより、透明性と改ざん不能性が保証される。
- フレームワークは、各ラウンド終了後にモデル性能を評価するためのホールアウトテストセットに依存しており、動的貢献度スコアリングを可能にする。
- 実験的検証により示されるように、本システムは、モデル汚染攻撃に耐性を持つ強固なアグリゲーションメカニズムと併用されるように設計されている。
実験結果
リサーチクエスチョン
- RQ1プライベートデータを露呈させることなく、分散型フェデレーテッドラーニング環境で貢献度を公平かつ透明に測定する方法は何か？
- RQ2ブロックチェーン上のスマートコントラクトを用いて、フェデレーテッドラーニングにおけるデータ貢献度に基づき、報酬分配を自動化・強制できるか？
- RQ3CrowdsourceプロトコルとConsortiumプロトコルは、データ品質の変動に対して、公平性および耐性の観点でどのように比較できるか？
- RQ4モデル汚染攻撃の下で貢献度スコアリング機構にどのような脆弱性が存在し、それらをどのように緩和できるか？
- RQ5データセットのサイズと品質は、2CPフレームワークにおける最終的な報酬分配にどの程度の影響を及ぼすか？
主な発見
- Crowdsourceプロトコルは、MNISTデータセットにおいて妥当な貢献度スコアを生成し、より大きなデータセットが比例的に高い報酬を受け取った。
- Consortiumプロトコルは、より大きなデータセットに対して適切に報酬を分配したが、わずかに汚染されたデータ（0.2 < p < 0.3）を提供するクライアントに対して過剰評価していた。これは、非標的モデル汚染攻撃に対する脆弱性を示している。
- ラベル反転率が高いクライアント（p > 0.5）は報酬がゼロに低下した一方、中程度の汚染（p ≈ 0.25）では報酬が過剰に上昇した。これは、シビル攻撃に類似した攻撃ベクトルを示唆している。
- Consortiumプロトコルの初期トレーニングラウンドでは、Crowdsourceプロトコルのトークン割合と一致した。これは、汚染されたクライアントがモデルを最適でない局所最適解に引きずり込んだという仮説を支持する。
- 結果として、2CPに悪意あるまたは低品質なモデル更新を除外する強固なアグリゲーションメカニズムを併用する必要があることが強調された。
- 本フレームワークは、誠実または準誠実な参加が前提の下では、貢献度に基づく報酬分配が実現可能かつ公平であることを示しているが、追加の検証がなければ悪意ある行動に対して脆弱であることが明らかになった。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。