[論文レビュー] Fixing by Mixing: A Recipe for Optimal Byzantine ML under Heterogeneity

Youssef Allouah, Sadegh Farhadkhani+4 more|arXiv (Cornell University)|Feb 3, 2023

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿では、データ非同一性下でのByzantine耐性を持つ分散機械学習を向上させるための前処理手法であるNearest Neighbor Mixing (NNM) を提案する。各ワーカーの勾配をその近隣の勾配と平均化することで、分散とずれを低減し、標準的な頑健な集約ルールが最適なByzantine耐性を達成可能にする。D-GDおよびD-SHBの両方において、期待値で理論的下限に一致する性能を示し、先行手法を実験的に上回る。

ABSTRACT

Byzantine machine learning (ML) aims to ensure the resilience of distributed learning algorithms to misbehaving (or Byzantine) machines. Although this problem received significant attention, prior works often assume the data held by the machines to be homogeneous, which is seldom true in practical settings. Data heterogeneity makes Byzantine ML considerably more challenging, since a Byzantine machine can hardly be distinguished from a non-Byzantine outlier. A few solutions have been proposed to tackle this issue, but these provide suboptimal probabilistic guarantees and fare poorly in practice. This paper closes the theoretical gap, achieving optimality and inducing good empirical results. In fact, we show how to automatically adapt existing solutions for (homogeneous) Byzantine ML to the heterogeneous setting through a powerful mechanism, we call nearest neighbor mixing (NNM), which boosts any standard robust distributed gradient descent variant to yield optimal Byzantine resilience under heterogeneity. We obtain similar guarantees (in expectation) by plugging NNM in the distributed stochastic heavy ball method, a practical substitute to distributed gradient descent. We obtain empirical results that significantly outperform state-of-the-art Byzantine ML solutions.

研究の動機と目的

• データ非同一性下におけるByzantine機械学習における理論的ギャップを埋めること。先行手法は最適な耐性を達成できない。
• データ非同一性がByzantine行動を隠蔽するという課題に対処すること。これにより、非Byzantineの外れ値と区別することが困難になる。
• 均一なByzantine機械学習ソリューションを非同一設定に自動的に適応可能にするメカニズムを設計すること。最適性を損なわずに行う。
• NNMが標準的な頑健な集約ルールが非同一性下で最適な収束保証を達成できることを示すこと。
• NNMが強化したD-SHBが期待値で理論的下限に一致し、最先端のアプローチを上回ることを実験的に検証すること。

提案手法

• 勾配の類似度に基づき、各ワーカーの勾配とそのk個の近隣の勾配の重み付き平均を計算する前処理手法であるNearest Neighbor Mixing (NNM) を提案する。
• f個のByzantineワーカーが存在する下で、誠実ワーカーの入力の平均をどの程度正確に推定できるかを定量化する新しい頑健性基準、$(f,\kappa)$-頑健性を導入する。
• NNMが誠実な勾配の分散を$\mathcal{O}(f/n)$の要因で低減することを証明し、任意の$(f,\mathcal{O}(1))$-頑健な集約ルールが最適な耐性を達成できることを示す。
• 分散勾配降下法(D-GD)および分散確率的ヘヴィボール法(D-SHB)の両方の設定にNNMを適用し、理論的下限に一致する近似定常点への収束を保証する。
• MNIST、Fashion-MNIST、CIFAR-10の複数のデータセットで、Krum、GM、CWMed、CWTMといった複数の集約ルールを用いて、NNMの実験的評価を実施。さまざまなByzantine攻撃および非同一性の設定下で評価。
• 合成攻撃（FOE、ALIE、Mimic、SF、LF）とパラメータ$\alpha$を用いた制御されたデータ非同一性を組み合わせ、頑健性と収束性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 既存のByzantine耐性集約ルールは、データ非同一性下でも最適な耐性を達成できるように適応可能か？
• RQ2 FOE、ALIE、Mimic、SF、LF といった攻撃と、$\alpha = 0.1, 1, 10$ の非同一性レベルを想定した環境下で、NNMがデータ非同一性の影響を効果的に低減するか？
• RQ3 NNMは、非同一性下で標準的な頑健な集約ルールが理論的下限に一致する収束誤差を達成できるか？
• RQ4 NNMとD-SHBの組み合わせは、確率的勾配とデータサブサンプリングが存在する状況でも、期待値で最適な収束を達成できるか？
• RQ5 多様な攻撃および非同一性設定下で、NNMはBucketing やアンサンブル集約ルールといった先行手法と比較して、どのように性能を発揮するか？

主な発見

• NNMは、任意の$(f,\mathcal{O}(1))$-頑健な集約ルールがデータ非同一性下で最適なByzantine耐性を達成できることを可能にし、収束誤差の理論的下限に一致する。
• NNMを適用したD-GDのバージョンは、決定的設定下で最適な収束を達成し、誤差が$f \cdot \text{max dispersion} / n$ で有界である。
• 確率的設定下では、NNMを組み合わせたD-SHBが期待値で下限に一致し、追加のランダム性源が存在しないため、先行の確率的手法よりも優れた実験的性能を示す。
• MNIST、Fashion-MNIST、CIFAR-10における実験結果から、NNMは、FOE、ALIE、Mimic、SF、LF といったすべての攻撃タイプおよび非同一性レベル（$\alpha = 0.1, 1, 10$）で、常に最先端の手法を上回る性能を示す。
• 強いByzantine環境（例：$f=6$、$n=17$）下では、NNMは高い正確性を維持するが、Bucketingはvanilla集約に劣化する。これは、NNMが高敵対的環境下でも優位であることを示している。
• 本手法は多様なデータセットおよび集約ルールに対して頑健であり、非同一データを伴う実世界の分散学習における汎用性と実用的妥当性を示している。