[論文レビュー] Fall of Empires: Breaking Byzantine-tolerant SGD by Inner Product Manipulation

Cong Xie, Sanmi Koyejo+1 more|arXiv (Cornell University)|Mar 10, 2019

Privacy-Preserving Technologies in Data参考文献 25被引用数 59

ひとこと要約

本論文は内積操作攻撃を提案し、2つのビザンチン耐性SGD防御（座標ごとの中央値とKrum）を破壊し、理論と実証に基づく新たなビザンチン耐性定義を提案する。

ABSTRACT

Recently, new defense techniques have been developed to tolerate Byzantine failures for distributed machine learning. The Byzantine model captures workers that behave arbitrarily, including malicious and compromised workers. In this paper, we break two prevailing Byzantine-tolerant techniques. Specifically we show robust aggregation methods for synchronous SGD -- coordinate-wise median and Krum -- can be broken using new attack strategies based on inner product manipulation. We prove our results theoretically, as well as show empirical validation.

研究の動機と目的

• 分散同期SGDにおけるビザンチンワーカーの脅威を動機づけ、正式に定義する。
• 既存のロバストアグリゲータは内積操作攻撃によって侵害可能であることを示す。
• 定義された条件の下で脆弱性を証明する理論分析を提供する。
• CIFAR-10で攻撃を経験的に検証し、ビザンチン耐性定義への示唆を論じる。

提案手法

• パラメータサーバを用いたビザンチンワーカーを含む分散同期SGDをモデル化する。
• 最大でm勾配のうちq個がビザンチンで、全知的攻撃者が勾配を調整できる脅威モデルを定義する。
• 距離を単に制約するだけでなく、下降方向を反転させる内積操作攻撃を導入する。
• 座標ごとの中央値とKrumという2つのロバストアグリゲータを分析し、これらが耐性を欠く条件（DSSGD-Byzantine-tolerantでなくなる条件）を導出する。
• 真の勾配との内積の符号に基づく改訂版DSSGD-Byzantine耐性定義を提案する。
• 理論的結果を検証するための toy 実験および CIFAR-10 のケーススタディ実験を提供する。

実験結果

リサーチクエスチョン

• RQ1 内積操作により降下方向が真の勾配と反対になることは、MedianとKrumの下で起こり得るか？
• RQ2 MedianとKrumがDSSGD-Byzantine耐性を欠くのはどの条件下か？
• RQ3 ビザンチン勾配をどのように構築してロバストアグリゲーション規則をバックドア化できるか？
• RQ4 改訂されたビザンチン耐性定義は分散SGDの実践的な脆弱性を捉えているか？

主な発見

• 内積操作攻撃により集約勾配が真の勾配と負の内積を持つようになり、降下を損なう。
• 特定の条件（m-2q=1）で、十分に大きな負の値や戦略的に選択されたビザンチン勾配を用いる場合、中央値はDSSGD-Byzantine-tolerantではない。
• 近傍基準を誤解させるように整列した敵対的勾配を用いる場合、Krumは特定の条件（m-2q=3）でDSSGD-Byzantine-tolerantではない。
• CIFAR-10の実証結果は、正の大きな振幅の攻撃では中央値が機能しない一方、比較的小さな正の攻撃はKrumを脅かす可能性がある。