[論文レビュー] Approximate Byzantine Fault-Tolerance in Distributed Optimization

Shuo Liu, Nirupam Gupta+1 more|arXiv (Cornell University)|Jan 22, 2021

Stochastic Gradient Optimization Techniques参考文献 37被引用数 7

ひとこと要約

本稿では、分散最適化における正確なByzantine故障耐性の緩和として、$(f,\epsilon)$-耐性を提案する。これにより、最大 $f$ 個のエージェントが任意に振る舞う状況下でも、非故障エージェントが自身の集約コスト関数の $\epsilon$-近似最小値に収束可能となる。座標毎トリムド平均（CWTM）や比較的勾配除去（CGE）といったロバスト勾配集約手法を活用することで、正確な故障耐性に必要なよりも弱い冗長性条件の下でも収束を達成可能であり、MNISTおよびFashion-MNISTにおける実験で、10体中3体がByzantineである状況でも有効性が検証された。

ABSTRACT

This paper considers the problem of Byzantine fault-tolerance in distributed multi-agent optimization. In this problem, each agent has a local cost function, and in the fault-free case, the goal is to design a distributed algorithm that allows all the agents to find a minimum point of all the agents' aggregate cost function. We consider a scenario where some agents might be Byzantine faulty that renders the original goal of computing a minimum point of all the agents' aggregate cost vacuous. A more reasonable objective for an algorithm in this scenario is to allow all the non-faulty agents to compute the minimum point of only the non-faulty agents' aggregate cost. Prior work shows that if there are up to $f$ (out of $n$) Byzantine agents then a minimum point of the non-faulty agents' aggregate cost can be computed exactly if and only if the non-faulty agents' costs satisfy a certain redundancy property called $2f$-redundancy. However, $2f$-redundancy is an ideal property that can be satisfied only in systems free from noise or uncertainties, which can make the goal of exact fault-tolerance unachievable in some applications. Thus, we introduce the notion of $(f,ε)$-resilience, a generalization of exact fault-tolerance wherein the objective is to find an approximate minimum point of the non-faulty aggregate cost, with $ε$ accuracy. This approximate fault-tolerance can be achieved under a weaker condition that is easier to satisfy in practice, compared to $2f$-redundancy. We obtain necessary and sufficient conditions for achieving $(f,ε)$-resilience characterizing the correlation between relaxation in redundancy and approximation in resilience. In case when the agents' cost functions are differentiable, we obtain conditions for $(f,ε)$-resilience of the distributed gradient-descent method when equipped with robust gradient aggregation.

研究の動機と目的

• 正確なByzantine故障耐性に伴う制限、すなわち $2f$-冗長性の厳密な要請が、ノイズや不確実性の高いシステムではしばしば達成不可能であるという点を解決すること。
• 非故障エージェントが自身の集約コスト関数の $\epsilon$-近似最小値を求めるという、故障耐性の実用的緩和を提案すること。
• $(f,\epsilon)$-耐性を達成するための必要十分条件を同定し、近似許容度 $\epsilon$ と冗長性要件の低減を関連付けること。
• CWTMおよびCGEといったロバスト勾配集約手法が、実世界の機械学習タスクにおける $(f,\epsilon)$-耐性を達成する上で有効であることを示すこと。

提案手法

• 非故障エージェントの集約コスト関数の真の最小値から $\epsilon$-精度内にある点を見つけることを目的とした $(f,\epsilon)$-耐性の概念を導入する。
• 冗長性の緩和と近似許容度の相関関係を分析することで、$(f,\epsilon)$-耐性の必要十分条件を導出する。
• 特に座標毎トリムド平均（CWTM）および比較的勾配除去（CGE）を用いて、分散勾配降下法における悪意のある勾配をフィルタリングするロバスト勾配集約技術を適用する。
• エージェントが隣接エージェントからのフィルタ済み勾配を用いて反復的に局所モデルを更新する分散勾配降下（DGD）フレームワークを採用する。
• Google Cloud上にPyTorchおよびMPI4pyを用いて構築したシミュレータを用い、$n=10$, $f=3$ の条件下でMNISTおよびFashion-MNISTにおける性能を評価し、ラベル反転および勾配反転の2種類の故障タイプを想定する。
• 1,000イテレーションにわたり交差エントロピー損失およびモデル精度を測定し、故障なしのD-SGDと比較し、異なる勾配フィルタの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 $2f$-冗長性が不足するため正確な最小値の計算が不可能な状況下でも、分散最適化におけるByzantine故障耐性を達成できるか？
• RQ2 Byzantine故障下で $\epsilon$-近似解への収束を保証するために必要な最小冗長性条件は何か？
• RQ3 CWTMやCGEといったロバスト勾配集約手法は、最大 $f$ 個のエージェントが任意または汚染された勾配を送信する状況下でも収束を維持できるか？
• RQ4 近似誤差 $\epsilon$ は、エージェントのコスト関数における冗長性の程度にどの程度依存するか？
• RQ5 提案された $(f,\epsilon)$-耐性フレームワークは、Byzantineエージェントを含む実世界の機械学習タスクに有効に適用可能か？

主な発見

• $(f,\epsilon)$-耐性フレームワークにより、正確な故障耐性に要するよりも著しく弱い冗長性条件下でも、非故障エージェントの集約コスト関数の $\epsilon$-近似最小値への収束が可能である。
• MNISTおよびFashion-MNISTにおける実験では、CWTMおよびCGEの両勾配フィルタが、10体中3体がByzantineであっても、故障なしのベースラインと同等の訓練損失および精度を達成した。
• CWTMはラベル反転故障下でより安定した性能を示した一方、CGEは勾配反転攻撃に対して優れた耐性を示し、故障タイプに応じたフィルタ固有の耐性が裏付けられた。
• 理論的分析は実験的にも裏付けられた：反復的推定値は真の最小値の周囲に有界な領域に収束し、$\epsilon$-近似保証と整合的であった。
• Byzantine影響を受ける学習と故障なし学習との間の性能差は小さく、本フレームワークが分散学習システムにおける実用的展開に適していることを示した。
• 実験結果から、実世界の機械学習問題には冗長性が存在することが確認され、提案手法の実現可能性が裏付けられた。