[論文レビュー] Byzantine-Robust Distributed Learning: Towards Optimal Statistical Rates

Dong Yin, Yudong Chen+2 more|arXiv (Cornell University)|Mar 5, 2018

Distributed Sensor Networks and Detection Algorithms参考文献 39被引用数 542

ひとこと要約

この論文は、ビザンチンワーカーに対して頑健性を証明可能な2つの頑健な分散勾配降下アルゴリズム（中央値ベースとトリム平均ベース）を提案し、強凸損失に対してほぼ最適な統計的レートを達成する一方、特定条件下で最適レートを持つ1ラウンド中央値ベースの変種を提供します。

ABSTRACT

In large-scale distributed learning, security issues have become increasingly important. Particularly in a decentralized environment, some computing units may behave abnormally, or even exhibit Byzantine failures -- arbitrary and potentially adversarial behavior. In this paper, we develop distributed learning algorithms that are provably robust against such failures, with a focus on achieving optimal statistical performance. A main result of this work is a sharp analysis of two robust distributed gradient descent algorithms based on median and trimmed mean operations, respectively. We prove statistical error rates for three kinds of population loss functions: strongly convex, non-strongly convex, and smooth non-convex. In particular, these algorithms are shown to achieve order-optimal statistical error rates for strongly convex losses. To achieve better communication efficiency, we further propose a median-based distributed algorithm that is provably robust, and uses only one communication round. For strongly convex quadratic loss, we show that this algorithm achieves the same optimal error rate as the robust distributed gradient descent algorithms.

研究の動機と目的

• 大規模な分散学習において、いくつかのワーカーが任意の振る舞いをする可能性がある状況での頑健性の動機づけ。
• ビザンチン障害が統計誤差レートに与える影響を特徴づけ、達成可能な最適レートを特定する。
• 2つの頑健な分散勾配降下アルゴリズム（中央値ベースとトリム平均ベース）と1ラウンド変種を開発・分析する。
• これらのアルゴリズムが、強凸、凸、非凸の損失に対してほぼ最適または最適なレートを達成する条件を提供する。

提案手法

• 座標ごとの中央値（オプション I）と座標ごとのトリムド平均（オプション II）を用いてワーカの勾配を集約する、2つの頑健な分散勾配降下アルゴリズムを提案する。
• 強凸、非強凸、滑らかな非凸母集団損失に対する統計的誤差境界を導出する。
• 反復間で固定データとビザンチン攻撃者による依存性を扱うため、一様カバリング議論とBerry-Esseen型不等式を用いる。
• トリムド平均GDは、強凸損失に対してオーダー最適なレートとして ~Õ(α/√n + 1/√(nm)) を達成する。
• 局所ERMを座標ごとの中央値で集約する1ラウンドの堅牢アルゴリズムを導入し、通信ラウンドを削減する。
• 各手法が最適またはほぼ最適なレートを達成する条件や比較を提供する。

実験結果

リサーチクエスチョン

• RQ1 ビザンチン障害下の分散学習で達成可能な統計的性能は何か？
• RQ2 分散GDにおける頑健な集約規則（中央値、トリムド平均）が、さまざまな損失クラス（強凸、凸、非凸）で最適なレートを達成できるか？
• RQ3 ビザンチン耐性の分散学習における通信効率と統計精度のトレードオフは何か？
• RQ4 中央値ベースとトリム平均ベースの手法が、どのデータ尾部仮定の下で頑健性と最適レートを保証するか？

主な発見

	median GD	trimmed mean GD
統計的誤差率	~O(α/√n + 1/√(nm) + 1/n)	~O(α/√n + 1/√(nm))
∂k f(w;z の分布)	歪度が有界	サブ指数的
α は既知?	いいえ	はい

• 中央値ベースのGDは mild assumptions の下でのレートを達成する：Õ(α/√n + 1/√(nm) + 1/n)、n ≳ m のときオーダー最適。
• トリムド平均ベースのGDは、サブ指数勾配仮定の下で Õ(α/√n + 1/√(nm)) のレートを達成し、強凸損失に対してオーダー最適。
• 1ラウンド中央値ベースのアルゴリズムは、強凸二次損失に対して n ≳ m のとき Õ(α/√n + 1/√(nm) + 1/n) を達成する。
• 下界は Õ(α/√n + 1/√(nm)) が必要であることを示しており、提案レートがビザンチン設定でほぼ最適であることを示している。
• 2つのアルゴリズムは補完的である：中央値ベースはより緩い尾部/モーメント仮定を必要とする一方、トリム平均はより厳しい尾部仮定（β-サブ指数的）を要し α の知識を必要とする。
• 表1は両手法間の実用的なトレードオフを要約する。