[論文レビュー] Towards Byzantine-resilient Learning in Decentralized Systems

Shangwei Guo, Tianwei Zhang+4 more|arXiv (Cornell University)|Feb 20, 2020

Privacy-Preserving Technologies in Data参考文献 19被引用数 12

ひとこと要約

本論文では、分散型フェデレーテッドラーニングにおける、悪意あるノードを一貫してフィルタリングし、任意の数のByzantine障害が発生しても正しく学習するモデルに収束できる、新しいByzantine耐性アグリゲーションアルゴリズムMoziを提案する。Moziは一様収束を保証し、既存のソリューションと比較して高いセキュリティと効率性を示す。

ABSTRACT

With the proliferation of IoT and edge computing, decentralized learning is becoming more promising. When designing a distributed learning system, one major challenge to consider is Byzantine Fault Tolerance (BFT). Past works have researched Byzantine-resilient solutions for centralized distributed learning. However, there are currently no satisfactory solutions with strong efficiency and security in decentralized systems. In this paper, we propose a novel algorithm, Mozi, to achieve BFT in decentralized learning systems. Specifically, Mozi provides a uniform Byzantine-resilient aggregation rule for benign nodes to select the useful parameter updates and filter out the malicious ones in each training iteration. It guarantees that each benign node in a decentralized system can train a correct model under very strong Byzantine attacks with an arbitrary number of faulty nodes. We perform the theoretical analysis to prove the uniform convergence of our proposed algorithm. Experimental evaluations demonstrate the high security and efficiency of Mozi compared to all existing solutions.

研究の動機と目的

• 分散型学習システムにおける効率的かつ安全なByzantine故障耐性（BFT）ソリューションの不足に対処すること。
• 各訓練イテレーションにおいて、健全なノードが悪意あるパラメータ更新を特定・拒否できる一様なアグリゲーションルールを設計すること。
• 任意の数のノードが故障している状況下でも、正しくモデル学習を保証すること。
• 提案手法の分散環境における一様収束を理論的に証明すること。

提案手法

• Moziは、中央管理者を必要とせず、各健全なノードで独立して動作する一様なByzantine耐性アグリゲーションルールを導入する。
• アルゴリズムにより、各健全なノードは、パラメータ更新の整合性および統計的性質に基づき、悪意ある更新を評価・除外できる。
• 敵対的入力があってもモデル精度を維持する強固なアグリゲーションメカニズムを活用する。
• ノードが外れ値や悪意ある更新を拒否することで、健全なノードが一括して正しいモデルに収束することを保証する。
• 理論的分析により、任意の数の故障ノードを含む強いByzantine条件のもとで一様収束が保証されることを示している。
• 通信および計算効率に優れた設計となっており、IoTおよびエッジコンピューティング環境に適している。

実験結果

リサーチクエスチョン

• RQ1 任意の数の故障ノードが存在する条件下でも、強力なセキュリティ保証を備えた分散型学習システムがByzantine耐性を達成できるか？
• RQ2 中央機関に依存せずに、健全なノードが一様に悪意ある更新を検出・フィルタリングできるか？
• RQ3 Byzantine行動が存在する状況下でも、モデルの一様収束を保証するアグリゲーションルールは何か？
• RQ4 提案手法は、既存の集中型および分散型BFTソリューションと比較して、効率性およびセキュリティの面でどのように優れているか？
• RQ5 本アルゴリズムは、現実の分散型システムにおいて強い敵対的条件下でも高いモデル精度を維持できるか？

主な発見

• Moziは、任意のByzantine障害が発生する状況下でも、すべての健全なノードにおいてモデルの一様収束を達成し、多数の悪意あるノードが存在する状況でも正しく学習が保証される。
• アルゴリズムは各訓練イテレーションにおいて悪意あるパラメータ更新を効果的にフィルタリングすることで、高いセキュリティを実現する。
• 実験的評価により、Moziはセキュリティおよび学習効率の両面で既存のソリューションを上回ることが示された。
• Moziは強い敵対的条件下でもモデル精度と収束速度を維持し、その頑健性が確認された。
• 通信および計算効率に優れているため、リソース制限のあるIoTおよびエッジ環境に適している。
• 理論的分析により、Moziが強いByzantine攻撃モデル下でも正しくモデル学習を保証することを確認した。