[論文レビュー] Adversary-resilient Inference and Machine Learning: From Distributed to Decentralized.

Zhixiong Yang, Arpita Gang+1 more|arXiv (Cornell University)|Aug 23, 2019

Advanced Memory and Neural Computing参考文献 23被引用数 13

ひとこと要約

本論文は、悪意あるノードがプロトコルから任意に逸脱できる可能性があるByzantine脅威モデル下で、分散および分散型システムにおける敵対的耐性のある推論と機械学習について包括的なサーベイを提示する。攻撃に対して耐性を持つ最近のアルゴリズム的進展を統合し、敵対的条件下での耐性のある集約、コンセンサス、学習についての知見を提供する。

ABSTRACT

While the last few decades have witnessed a huge body of work devoted to inference and learning in distributed and decentralized setups, much of this work assumes a non-adversarial setting in which individual nodes---apart from occasional statistical failures---operate as intended within the algorithmic framework. In recent years, however, cybersecurity threats from malicious non-state actors and rogue entities have forced practitioners and researchers to rethink the robustness of distributed and decentralized algorithms against adversarial attacks. As a result, we now have a plethora of algorithmic approaches that guarantee robustness of distributed and/or decentralized inference and learning under different adversarial threat models. Driven in part by the world's growing appetite for data-driven decision making, however, securing of distributed/decentralized frameworks for inference and learning against adversarial threats remains a rapidly evolving research area. In this article, we provide an overview of some of the most recent developments in this area under the threat model of Byzantine attacks.

研究の動機と目的

• 敵対的条件下における分散および分散型システムにおける堅牢な推論と学習の増大するニーズに対応すること。
• Byzantine攻撃にさらされた際の従来の分散アルゴリズムの脆弱性を特定および分析すること。
• 分散学習フレームワークにおける任意のノード行動に対して耐性を持つ最近のアルゴリズム的解決策をサーベイすること。
• 現実世界のデータ駆動型システムにおけるスケーラブルで実用的な敵対的耐性を達成する上で直面する課題と未解決問題を強調すること。

提案手法

• 分散および分散型学習システムにおけるByzantine敵対者に耐性を持つように設計された既存のアルゴリズム的アプローチをサーベイおよび分類すること。
• ノードが任意に動作する可能性がある（Byzantine故障）脅威モデルに焦点を当てる。これには、勾配やモデル更新、またはデータの操作が含まれる。
• 強固な集約ルール（例：中央値、トリムド平均、Krum）などの技術を検討する。
• これらの防御がフェデレーテッドラーニングおよび分散最適化フレームワーク内にどのように統合されているかを分析する。
• 耐性、収束速度、通信効率、システムスケーラビリティの間のトレードオフを評価する。
• 敵対者制御およびネットワークトポロジーに関するさまざまな仮定の下でのこれらの防御の性能に関する知見を統合する。

実験結果

リサーチクエスチョン

• RQ1 標準的な分散および分散型学習アルゴリズムがByzantine脅威モデル下で示す主な脆弱性は何か？
• RQ2 異なる強固な集約技術は、分散学習におけるByzantine更新の影響をどのように軽減するか？
• RQ3 敵対的耐性学習における耐性、収束、通信オーバーヘッドの間のパフォーマンスのトレードオフは何か？
• RQ4 コンセンサスおよび再冗長メカニズムは、分散型推論および学習における耐性をどのように向上させるか？
• RQ5 大規模で現実世界の分散型システムへのByzantine耐性アルゴリズムのスケーリングにおける未解決の課題は何か？

主な発見

• 最近のアルゴリズム的アプローチは、分散型学習システムのByzantine敵対者に対する耐性を顕著に向上させている。
• Krum やトリムド平均などの強固な集約ルールは、分散最適化における悪意ある更新の影響を効果的に低減する。
• コンセンサスに基づく防御は、敵対的条件下での分散型システムにおける協調性と一貫性を向上させる。
• 再冗長性と検出メカニズムの統合は、収束速度を損なわせることなく故障耐性を向上させる。
• 耐性、通信コスト、収束速度の間のトレードオフは、実用的導入における主要な課題のままである。
• 分野は急速に進化しており、現実世界のデータ駆動型システムに向けたスケーラブルで効率的な解決策への注目が高まっている。