[論文レビュー] When Federated Learning Meets Blockchain: A New Distributed Learning Paradigm

Chuan Ma, Jun Li+5 more|arXiv (Cornell University)|Sep 20, 2020

Privacy-Preserving Technologies in Data被引用数 26

ひとこと要約

本稿では、中央集権的なモデル集約を排除し、ブロックチェーンのセキュリティを活用して信頼性を高めた分散型フェデレーテッドラーニング（FL）フレームワーク、BLADE-FLを提案する。このシステムは、モデル集約の分散化と、クライアントのトレーニングとブロックチェーンマイニングの統合により、単一障害点を解消する。セキュリティが強化され、汚染攻撃に強く、インcentiveメカニズムによりラジオクライアントの影響にも耐性を持つ。プライバシー保護のための適応的ディファレンシャルプライバシーを用いることで、性能が最大18%向上し、効果的なプライバシー保護学習が実現される。

ABSTRACT

Motivated by the explosive computing capabilities at end user equipments, as well as the growing privacy concerns over sharing sensitive raw data, a new machine learning paradigm, named federated learning (FL) has emerged. By training models locally at each client and aggregating learning models at a central server, FL has the capability to avoid sharing data directly, thereby reducing privacy leakage. However, the traditional FL framework heavily relies on a single central server and may fall apart if such a server behaves maliciously. To address this single point of failure issue, this work investigates a blockchain assisted decentralized FL (BLADE-FL) framework, which can well prevent the malicious clients from poisoning the learning process, and further provides a self-motivated and reliable learning environment for clients. In detail, the model aggregation process is fully decentralized and the tasks of training for FL and mining for blockchain are integrated into each participant. In addition, we investigate the unique issues in this framework and provide analytical and experimental results to shed light on possible solutions.

研究の動機と目的

• 従来のフェデレーテッドラーニング（FL）システムにおける中央サーバーへの依存と単一障害点の問題を解消する。
• ブロックチェーンの改ざん不能性と監査可能性を活用し、プライバシーリスクを低減し、モデル汚染攻撃を防止する。
• トレーニングとマイニングの統合タスクを通じて、参加者が誠実に参加するインcentiveを提供する、自己動機付け型の分散型学習環境を設計する。
• BLADE-FLフレームワークにおける主な課題、すなわちローカルディファレンシャルプライバシー、リソース割り当て、およびラジオクライアントの検出を調査・解決する。
• フレームワークの堅牢性、性能、スケーラビリティを、多様なデータセットを用いて分析的および実験的に検証する。

提案手法

• 許可なしブロックチェーンを用いてモデル集約を分散化し、中央集権的なアグリゲーターの代わりに分散型コンセンサスメカニズムを導入する。
• クライアントのトレーニングとブロックチェーンマイニングを統合したタスクとして実装し、学習とコンセンサスへの貢献に対して報酬を支給する。
• ローカルディファレンシャルプライバシーを適用し、モデル更新にガウスノイズを注入する。プライバシー制約下での精度向上を図るため、適応的ノイズ減衰戦略を採用する。
• ローカルトレーニングエポック数と通信ラウンドの比（θ）のチューニングによりリソース割り当てを最適化し、最小のトレーニング損失を達成する最適な設定を同定する。
• 疑似ノイズ（PN）シーケンスを用いた検出メカニズムを実装し、相互相関とSNRしきい値を用いてラジオクライアントを特定・緩和する。
• ブロックチェーンの改ざん不能なログを活用し、モデル更新とマイニング活動を記録することで、追跡可能性、責任の所在、改ざんへの耐性を実現する。

実験結果

リサーチクエスチョン

• RQ1 単一の信頼できる中央サーバーに依存しない分散型フェデレーテッドラーニングフレームワークは、どのように設計できるか？
• RQ2 分散型FLシステムにおいて、ラジオまたは応答のないクライアントの影響を検出・緩和するためのメカニズムは何か？
• RQ3 モデル更新にノイズを追加した場合、ローカルディファレンシャルプライバシーはモデル精度にどのように影響するか？また、適応的ノイズスケジューリングは性能向上に寄与するか？
• RQ4 異なるデータセットにおいて、トレーニング損失を最小化するための、ローカルトレーニングの努力と通信ラウンドの最適なトレードオフ（θ）は何か？
• RQ5 FLトレーニングとブロックチェーンマイニングを統合することで、敵対的状況下でのシステムのレジリエンス、セキュリティ、性能にどのような影響を与えるか？

主な発見

• PNシーケンスの信号対雑音比（SNR）が3 dBの場合、ラジオクライアントの検出精度はほぼ100%に達する。Fashion-MNISTとCifar-10では、それぞれ6 dBで98.9%および97.5%の検出率を達成した。
• 適応的ノイズ減衰手法は、同じプライバシー予算（ε）のもとで、定常ノイズ注入よりも高いテスト精度を達成し、学習性能を向上させる。
• Fashion-MNISTデータセットにおいて、最適な設定は14ラウンドの通信と1ラウンドあたり15エポックのローカルトレーニングであり、θ = 1のとき最小のトレーニング損失を達成する。
• 30%のラジオクライアントが存在する状況では、システム性能がFashion-MNISTで22.1%、Cifar-10で19.6%低下するが、PNベースの検出手法により、それぞれ18%および13.8%の性能回復が達成された。
• より大きなプライバシー予算（ε）は、より高いモデル精度をもたらすことが確認され、プライバシー保護が弱いほど学習結果が向上することを裏付けた。
• 本フレームワークは、多様なデータセットにおいて堅牢性とスケーラビリティを示し、通信ラウンド、ローカルトレーニングの努力、収束性能の間の明確なトレードオフが確認された。