[論文レビュー] Phocas: dimensional Byzantine-resilient stochastic gradient descent

Cong Xie, Oluwasanmi Koyejo+1 more|arXiv (Cornell University)|May 23, 2018

Privacy-Preserving Technologies in Data参考文献 14被引用数 45

ひとこと要約

本論文は Phocas を提案する。これは同期SGDの次元的ビザント耐性を持つ集約則であり、耐性を証明し、さまざまな攻撃に対する経験的頑健性を示す。

ABSTRACT

We propose a novel robust aggregation rule for distributed synchronous Stochastic Gradient Descent~(SGD) under a general Byzantine failure model. The attackers can arbitrarily manipulate the data transferred between the servers and the workers in the parameter server~(PS) architecture. We prove the Byzantine resilience of the proposed aggregation rules. Empirical analysis shows that the proposed techniques outperform current approaches for realistic use cases and Byzantine attack scenarios.

研究の動機と目的

• パラメータサーバーアーキテクチャにおける最も一般的なビザント故障モデルの下で、堅牢な分散トレーニングを動機づける。
• 勾配の任意の次元でのデータ汚染を扱うための次元的ビザント耐性を導入する。
• ビザント勾配を許容し収束を保証する、効率的で低コストの集約則を提案する。
• 次元的ビザント耐性集約を用いた SGD の理論的収束保証を提供する。
• MNIST および CIFAR-10 に対する複数の攻撃シナリオに対する堅牢性を実証的に検証する。

提案手法

• m 個のワーカーにまたがって各次元あたり最大 q 個の値が汚染され得る一般化されたビザント故障をモデル化する。
• 次元的ビザント耐性を達成するために、トリム平均ベースの集約則（Trmean および Phocas）を提案する。
• Phocas を、トリム平均を中心とした距離ベースのトリム-平均化規則として定義し、トリム平均に最も近い m−b 個の要素を使用してそれらを平均する。
• 次元Δ-ビザント耐性を証明し、分散/収束誤差の境界を導出する。
• 計算量を分析: Phocas はほぼ線形時間であり、Krum系より安価である。
• 強凸/滑らかさを持つ F および非凸設定において Δ-ビザント耐性集約の下での同期SGDの収束保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 一般化された（次元的）ビザント故障は、分散の分散が爆発したり訓練が発散したりせずに、同期 SGD で許容できるのか？
• RQ2 トリム平均ベースの集約（Trmean、Phocas）は、証明可能な保証を伴う次元的ビザント耐性を提供するか？
• RQ3 これらの集約がビザント攻撃下で収束速度と最終誤差にどのように影響するか？
• RQ4 ビザントシナリオ下で、既存の堅牢な集約（例：Krum、Multi-Krum）との計算コスト比較はどうなるか？
• RQ5 実データセットにおいて、提案手法は一般的な攻撃モデル（ガウス、全知、ビットフリップ、ギャンブラー）に対して頑健か？

主な発見

• トリム平均ベースの集約は、2q < m のとき次元的ビザント耐性を、分散の有界性とともに達成する。
• Phocas は、トリム平均に最も近い m−b の値を平均化することで頑健性をさらに向上させ、証明済みの耐性境界を持つ。
• 収束解析は、強凸で滑らかな F に対して定数誤差を伴う線形収束を示し、一般的な滑らかな F にも同様の保証を示す。
• MNIST/CIFAR-10 の実験で、Phocas と Trmean は Gaussian、omniscient、bit-flip、gambler 攻撃に対して強い実証的頑健性を示す。
• Phocas は Multi-Krum と同等またはそれ以上の性能を、計算コストを抑えて提供する。
• Krum および Byzantine 仮定なしの Mean は、一般化された次元ビザントモデルの下で失敗する一方、Phocas と Trmean は成功する。