[論文レビュー] A Survey on Fault-tolerance in Distributed Optimization and Machine Learning

Shuo Liu|arXiv (Cornell University)|Jun 16, 2021

IoT and Edge/Fog Computing参考文献 121被引用数 6

ひとこと要約

本サーベイは、分散最適化および機械学習におけるフォールトトレランスについて包括的な概要を提供し、Byzantine耐性、勾配フィルタリング、勾配コーディング、プライバシー保護技術に焦点を当てる。スケーラビリティ、非同期性、敵対的モデリングに関する主な課題を特定し、効率的で、頑健かつプライベートな分散学習システムにおける未解決問題を強調する。

ABSTRACT

The robustness of distributed optimization is an emerging field of study, motivated by various applications of distributed optimization including distributed machine learning, distributed sensing, and swarm robotics. With the rapid expansion of the scale of distributed systems, resilient distributed algorithms for optimization are needed, in order to mitigate system failures, communication issues, or even malicious attacks. This survey investigates the current state of fault-tolerance research in distributed optimization, and aims to provide an overview of the existing studies on both fault-tolerant distributed optimization theories and applicable algorithms.

研究の動機と目的

• 分散最適化および機械学習におけるフォールトトレランス研究の現状を分析すること。
• サーバベースおよびピアツーピアアーキテクチャを含む、さまざまなシステムアーキテクチャにおけるByzantineフォールトトレランスアルゴリズム（勾配フィルタリングおよび勾配コーディングを含む）を検討すること。
• 分散学習システムにおけるフォールトトレランスとプライバシーの交差領域を調査すること。
• 非同期性、ピアツーピアネットワーク、敵対的モデリングに関する未解決課題を特定し、頑健な分散最適化を実現すること。
• フォールトトレランス分散最適化のためのレジリエンス表記法および可解条件について体系的な概要を提供すること。

提案手法

• 勾配フィルタリングおよびコーディングを用いた冗長性ベースの手法と、Byzantine耐性に分類してフォールトトレランスアプローチを分類する。
• Bulyan や Krum といった勾配フィルタ技術をレビューし、分散SGDにおける悪意のある勾配を同定・除外する手法を説明する。
• 勾配を冗長性を用いて符号化することで、遅延するノード（ストラグル）およびByzantine故障を耐容する勾配コーディング手法を分析する。
• サーバベースおよびピアツーピアモデルを含むシステムアーキテクチャを検討し、アルゴリズムの適用可能性における差を強調する。
• $(f,r;\epsilon)$-redundancy といったレジリエンス表記法を導入し、Byzantine故障とストラグルの両方に対する耐性をモデル化する。
• プライバシーとフォールトトレランスのトレードオフを評価し、特に誤差率が $\frac{d}{b^2}$ のスケーリングを示す微分散的プライバシー勾配フィルタリングを検討する。

実験結果

リサーチクエスチョン

• RQ1 特にコスト関数の冗長性に関して、Byzantineフォールトトレランス分散最適化の理論的可解条件は何か？
• RQ2 勾配フィルタリングおよび勾配コーディング手法は、分散確率的勾配降下法においてどのようにフォールトトレランスを達成するか？
• RQ3 ピアツーピアネットワークトポロジーとサーバベーストポロジーの両方において、フォールトトレラントアルゴリズムの性能と収束性のトレードオフは何か？
• RQ4 モデルの精度を著しく低下させることなく、分散学習においてフォールトトレランスと微分散的プライバシーをどのように統合できるか？
• RQ5 非同期的かつ動的ネットワーク環境へのフォールトトレラントアルゴリズムの拡張において、未解決の課題は何か？

主な発見

• 強い凸性を持つ学習タスクにおいて、微分散的プライバシーを備えたByzantine耐性勾配フィルタは、$\frac{d}{b^2}$ のオーダーの訓練誤差率を示す。ここで $d$ はモデル次元、$b$ はバッチサイズである。
• 非プライベートな勾配フィルタは $d$ に依存しない誤差率を達成するため、プライバシーとフォールトトレランス効率の間には顕著なトレードオフがある。
• 既存の勾配フィルタは、特に確率的設定において、高い計算コストや弱い収束性の問題を抱えていることが多い。
• ピアツーピアアーキテクチャにおけるByzantineフォールトトレランスは、まだ十分に検討されておらず、サーバベースモデルに比べて体系的な結果が限られている。
• 非同期フォールトトレラント最適化は未だ開かれた分野であり、非同期性とByzantine耐性を明示的に組み合わせた結果は少ない。
• $(f,r;\epsilon)$-redundancy モデルは、$(2f,\epsilon)$-redundancy を拡張し、最大 $f$ 個のByzantineエージェントと $r$ 個のストラグルを同時に耐容できるようにし、統一的なフォールトモデルを提供する。