[論文レビュー] Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with Lazy Clients

Jun Li, Yumeng Shao+5 more|arXiv (Cornell University)|Dec 2, 2020

Privacy-Preserving Technologies in Data参考文献 21被引用数 5

ひとこと要約

本稿では、クライアントが学習とマイニングの両方を実行するブロックチェーン保護型分散型フェデレーテッドラーニングフレームワーク、BLADE-FLを提案する。中央サーバーに依存しない。怠け者クライアント（モデルを複写し、ノイズを注入して学習責任を回避する者）の影響を理論的に分析・最適化し、全ブロック数 $K$ に関して凸性を証明し、損失関数を最小化し、精度を最大化する最適な $K$ を導出。MNISTおよびFashion-MNISTデータセットで実験的に検証され、理論と実際の結果が一貫している。

ABSTRACT

Federated learning (FL), as a distributed machine learning approach, has drawn a great amount of attention in recent years. FL shows an inherent advantage in privacy preservation, since users' raw data are processed locally. However, it relies on a centralized server to perform model aggregation. Therefore, FL is vulnerable to server malfunctions and external attacks. In this paper, we propose a novel framework by integrating blockchain into FL, namely, blockchain assisted decentralized federated learning (BLADE-FL), to enhance the security of FL. The proposed BLADE-FL has a good performance in terms of privacy preservation, tamper resistance, and effective cooperation of learning. However, it gives rise to a new problem of training deficiency, caused by lazy clients who plagiarize others' trained models and add artificial noises to conceal their cheating behaviors. To be specific, we first develop a convergence bound of the loss function with the presence of lazy clients and prove that it is convex with respect to the total number of generated blocks $K$. Then, we solve the convex problem by optimizing $K$ to minimize the loss function. Furthermore, we discover the relationship between the optimal $K$, the number of lazy clients, and the power of artificial noises used by lazy clients. We conduct extensive experiments to evaluate the performance of the proposed framework using the MNIST and Fashion-MNIST datasets. Our analytical results are shown to be consistent with the experimental results. In addition, the derived optimal $K$ achieves the minimum value of loss function, and in turn the optimal accuracy performance.

研究の動機と目的

• 中央サーバーに依存する集中型フェデレーテッドラーニングにおける単一障害点の脆弱性を解消するため、中央サーバーをブロックチェーンベースの分散アーキテクチャに置き換える。
• モデルを模倣し、人工的ノイズを注入して学習責任を回避する怠け者クライアントの影響を調査する。
• 怠け者クライアントが存在する状況における損失関数の収束バウンドを理論的に導出し、全生成ブロック数 $K$ に関してその凸性を証明する。
• 怠け者クライアントの数とノイズ分散を考慮して、損失関数を最小化し、最適な学習パフォーマンスを達成するための $K$ を最適化する。
• MNISTおよびFashion-MNISTデータセットを用いて理論的発見を実験的に検証し、理論と実際の結果の整合性を示す。

提案手法

• 各クライアントがモデル学習とブロック生成の両方を実行するようにフェデレーテッドラーニングにブロックチェーンを統合し、中央サーバーの必要性を排除する。
• すべてのクライアントが同じ時間割り当てで局所的学習とブロックマイニングを実行する同期フレームワークとしてシステムをモデル化する。
• 怠け者クライアントの存在を考慮した損失関数の上界を導出し、全生成ブロック数 $K$ に関してその凸性を証明する。
• 怠け者クライアントの数とノイズ分散を考慮して、最適な $K$ を選択することで損失関数を最小化する凸最適化問題を解く。
• 人工的ノイズを制御された分散で生成し、怠け者クライアントによるすり抜け的不正行動を模擬し、その影響を分析する。
• MNISTおよびFashion-MNISTデータセットを用いて、怠け者クライアントの比率とノイズレベルの変動に応じたパフォーマンスを評価し、理論的予測と実験的結果を比較する。

実験結果

リサーチクエスチョン

• RQ1 モデルを複写し、人工的ノイズを注入する怠け者クライアントが、ブロックチェーン保護型フェデレーテッドラーニングシステムの収束性とパフォーマンスに与える影響は何か？
• RQ2 BLADE-FLにおける損失関数に、怠け者クライアントを考慮した理論的上界を導出でき、全生成ブロック数 $K$ に関して凸性を示せるか？
• RQ3 損失関数を最小化する最適なブロック数 $K$ は何か？ また、怠け者クライアントの数とノイズ分散の変化に応じてどのように変化するか？
• RQ4 標準データセットを用いた実世界のフェデレーテッドラーニングシナリオにおいて、理論的予測された最適 $K$ と実測結果の間にはどのような関係があるか？
• RQ5 最適 $K$、怠け者クライアントの数、および不正行動を隠蔽するために使用される人工的ノイズの強度との間にどのような関係があるか？

主な発見

• BLADE-FLにおける損失関数の上界は、全生成ブロック数 $K$ に関して凸であることが証明され、効果的な最適化が可能である。
• 怠け者クライアントの数が増加するにつれて、損失関数を最小化する最適な $K$ は減少する。これは、計算リソースを学習に再配分する必要があることを示唆する。
• ノイズ分散が増加するにつれて、最適な $K$ も減少する。これは、高いノイズレベルではパフォーマンスを維持するための追加の学習作業が必要であることを示している。
• MNIST（怠け者クライアントなし、$M=0$）では最適 $K$ は7であるが、$M=6$（30%の割合）になると5に低下し、明確な逆関係が確認された。
• Fashion-MNISTでも同様の最適 $K$ の傾向が観察され、理論モデルの異なるデータセットへの一般化可能性が裏付けられた。
• 実験結果から、導出された最適 $K$ が最小損失と最大精度を達成することが確認され、理論的分析の妥当性が検証された。