[論文レビュー] Generalized Byzantine-tolerant SGD

Cong Xie, Oluwasanmi Koyejo+1 more|arXiv (Cornell University)|Feb 27, 2018

Distributed systems and fault tolerance参考文献 12被引用数 176

ひとこと要約

本論文は、一般化されたビザンモデル下の同期SGDに対して、三つのロバストな中央値ベースのアグリゲーション規則を導入し、次元ビザン耐性を証明し、多様な攻撃に対する実証的ロバスト性を示す。

ABSTRACT

We propose three new robust aggregation rules for distributed synchronous Stochastic Gradient Descent~(SGD) under a general Byzantine failure model. The attackers can arbitrarily manipulate the data transferred between the servers and the workers in the parameter server~(PS) architecture. We prove the Byzantine resilience properties of these aggregation rules. Empirical analysis shows that the proposed techniques outperform current approaches for realistic use cases and Byzantine attack scenarios.

研究の動機と目的

• 一般化されたビザンモデルの下で分散SGDの故障・攻撃耐性を動機づける。
• ワーカー間で次元ごとに任意のビザン値を耐える集約規則を開発する。
• 提案規則の臨界点への収束を証明する。
• 計算効率と現実的なビザン攻撃に対する経験的ロバスト性を評価する。

提案手法

• 各次元の値がワーカー間で破損され得る一般化されたビザンモデルを定義する。
• 三つの集約規則を提案する: 幾何中央値、周辺中央値、中央値周りの平均。
• 提案規則の次元ビザン耐性を証明する。
• 各集約規則の計算量を分析する（中央値ベースの手法はほぼ線形）。
• 耐性条件が成り立つ場合、これらの規則が臨界点へ収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 ワーカー間で次元レベルにビザン値が発生する一般化されたビザン故障モデルの下で、同期SGDは良い解へ収束するか？
• RQ2 中央値ベースの集約規則は次元ビザン耐性を提供するか、どの条件下で？
• RQ3 提案規則は、収束性、ロバスト性、計算効率の点で古典的なビザン防御と比較してどうか？
• RQ4 提案された集約における収束への攻撃者モデル（ガウス型、全知、ギャンブラー）の影響は何か？

主な発見

• 三つの中央値ベースの集約（幾何中央値、周辺中央値、中央値周りの平均）は、次元ビザン耐性の下で臨界点への収束を達成する。
• 周辺中央値と中央値周りの平均は次元ビザン耐性を持つことが証明され、次元ごとのビザン値に対する防御を可能にする。
• 幾何中央値は次元ごとの考慮を伴う古典的なビザン耐性を持ち、実際にはほぼ線形時間計算量である。
• 実証的結果は、提案手法がガウス型、全知、ビット反転、ギャンブラー攻撃下でMNISTおよびCIFAR-10タスクに対してベースラインの集約を上回ることを示す。
• 特定の攻撃下で平均ベースの手法は中央値ベースの手法より頑健性が低く、次元攻撃下で周辺中央値/中央値周りの平均の利点が際立つ。