[論文レビュー] Defending Against Saddle Point Attack in Byzantine-Robust Distributed Learning

Dong Yin, Yudong Chen+2 more|arXiv (Cornell University)|Jun 14, 2018

Stochastic Gradient Optimization Techniques被引用数 47

ひとこと要約

ByzantinePGD は、非凸な分散学習において Byzantine ワーカーによって作られた鞍点と偽の局所最小値を回避する堅牢な一階最適化アルゴリズムであり、理論的保証と実用的な堅牢勾配推定を提供する。

ABSTRACT

We study robust distributed learning that involves minimizing a non-convex loss function with saddle points. We consider the Byzantine setting where some worker machines have abnormal or even arbitrary and adversarial behavior. In this setting, the Byzantine machines may create fake local minima near a saddle point that is far away from any true local minimum, even when robust gradient estimators are used. We develop ByzantinePGD, a robust first-order algorithm that can provably escape saddle points and fake local minima, and converge to an approximate true local minimizer with low iteration complexity. As a by-product, we give a simpler algorithm and analysis for escaping saddle points in the usual non-Byzantine setting. We further discuss three robust gradient estimators that can be used in ByzantinePGD, including median, trimmed mean, and iterative filtering. We characterize their performance in concrete statistical settings, and argue for their near-optimality in low and high dimensional regimes.

研究の動機と目的

• Byzantine 故障下の非凸損失関数に対する堅牢な分散最適化の動機づけ。
• 敵対的な勾配にもかかわらず鞍点を回避するアルゴリズムの開発。
• 近似的な局所極小点への収束について、勾配オラクルが不正確であっても理論的保証を提供。
• Byzantine環境に適した堅牢な勾配集約法を提案・分析。

提案手法

• GradAGGオラクルを介して勾配を集約し Delta-inexact 勾配を得る ByzantinePGD を提案。
• 鞍点と偽の局所最小点を回避するために反復にランダム摂動を組み込む。
• 関数値に依存せず、校正された摂動の複数ラウンドと距離ベースの脱出基準を用いる。
• 最適化（不正確な勾配降下）と統計（堅牢な勾配推定）を分離した2部構成のフレームワークを提供。
• 対数因子を除けば非 Byzantines GD に概ね匹敵する反復複雑性を非凸問題で特徴づける。
• 3つの堅牢な勾配推定法（中央値、トリミング平均、反復フィルタリング）が具体的な統計的保証をもたらすことを示す。

実験結果

リサーチクエスチョン

• RQ1 通信と計算を最小化しつつ、Byzantineワーカーがいる状況下で鞍点からの証明可能な脱出を達成できるか。
• RQ2 堅牢な勾配集約法は不正確な勾配オラクルと非凸分散学習全体の収束にどう影響するか。
• RQ3 分散非凸最適化における Byzantine 敵対者下での一階・二階の停留点（定常性）の理論的限界は何か。
• RQ4 高次元の状況で、中央値・トリミング平均・反復フィルタリングは Byzantine 故障下でどのように機能するか。
• RQ5 関数値評価を必要とせずに収束保証を得ることは可能か。

主な発見

• ByzantinePGD は Delta-inexact 勾配オラクルの下で鞍点からの脱出を達成し、近似的な局所最小点へ収束する。
• 本アルゴリズムは複数回の摂動ラウンドと距離ベースの脱出基準を用い、従来のPGD系よりも解析を簡易にする。
• 3つの堅牢な集約方式（中央値、トリミング平均、反復フィルタリング）は勾配誤差 Delta に対する具体的な統計的保証を提供する。
• Delta-inexact 勾配の場合、第一階停止性と緩やかな第二階条件を満たすための反復複雑度は O(1/Delta^2) を達成する。
• 下界は、この設定では第二次保証を O(Delta^1/2) を大幅に上回るようにはどのアルゴリズムも達成できないことを示す。
• 結果は、Byzantine分散学習を超えて、不正確な勾配を伴う任意の非凸最適化、ノイズはあるが攻撃的でない設定を含む領域にも拡張される。