[論文レビュー] DRACO: Robust Distributed Training via Redundant Gradients.

Lingjiao Chen, Hongyi Wang+2 more|arXiv (Cornell University)|Mar 27, 2018

Adversarial Robustness in Machine Learning被引用数 13

ひとこと要約

DRACOは、符号理論的手法を用いて冗長勾配を生成することで、計算コストの高い中央値集約に依存せずに、パラメータサーバーが悪意のある更新を検出・排除できるスケーラブルなフレームワークである。これにより、中央値ベースの手法と比較して数個のオーダーの高速化を達成し、攻撃者なしの学習と同等の収束を実現する。

ABSTRACT

Distributed model training is vulnerable to worst-case system failures and adversarial compute nodes, i.e., nodes that use malicious updates to corrupt the global model stored at a parameter server (PS). To tolerate node failures and adversarial attacks, recent work suggests using variants of the geometric median to aggregate distributed updates at the PS, in place of bulk averaging. Although median-based update rules are robust to adversarial nodes, their computational cost can be prohibitive in large-scale settings and their convergence guarantees often require relatively strong assumptions. In this work, we present DRACO, a scalable framework for robust distributed training that uses ideas from coding theory. In DRACO, each compute node evaluates redundant gradients that are then used by the parameter server to eliminate the effects of adversarial updates. We present problem-independent robustness guarantees for DRACO and show that the model it produces is identical to the one trained in the adversary-free setup. We provide extensive experiments on real datasets and distributed setups across a variety of large-scale models, where we show that DRACO is several times to orders of magnitude faster than median-based approaches.

研究の動機と目的

• 悪意ある計算ノードが不正な更新を注入する分散学習の脆弱性に対処すること。
• 大規模な環境では計算コストが高いため実用的でない中央値ベースの集約手法の代替となるスケーラブルな手法を設計すること。
• 最終的なモデルが攻撃者なしの学習結果と一致することを保証する、問題に依存しない耐障害性の保証を提供すること。
• 強い仮定を設けずに、攻撃者存在下でも通常の学習と同一の収束を達成すること。

提案手法

• 各計算ノードは、誤り訂正符号を用いて冗長勾配を計算し、一部のノードが改ざんされてもパラメータサーバーが正しいグローバル更新を再構築できるようにする。
• パラメータサーバーは、悪意のある更新を特定・除外できるデコード処理を用いて冗長勾配を集約する。
• 符号理論の原則を活用することで、一定割合以内の悪意あるノードに対しても耐性を確保する。
• 線形代数的再構築を用いることで中央値計算を回避し、計算オーバーヘッドを顕著に低減する。
• 設計により、弱い仮定のもとで最終的なモデルが攻撃者なしの学習と同一になることを保証する。

実験結果

リサーチクエスチョン

• RQ1 符号理論的手法を用いることで、中央値ベースの集約の計算コストを伴わずに分散学習における耐障害性を達成できるか？
• RQ2 提案手法は、攻撃者なしの環境と同等のモデルに収束を保証するか？
• RQ3 大規模なモデルや分散環境において、速度と耐障害性の面でどのようにスケーリングするか？
• RQ4 冗長勾配を用いて、不正な更新を効率的に検出・排除できるか？

主な発見

• DRACOは、中央値ベースの耐障害的集約手法と比較して、数個のオーダーの高速化を達成する。
• DRACOで学習された最終モデルは、攻撃者がない状況で学習されたモデルと同一であり、正しさが保証される。
• フレームワークは問題に依存しない耐障害性の保証を提供し、多様なモデルやデータセットに適用可能である。
• 実データセットおよび大規模な分散環境における実験により、DRACOのスケーラビリティと効率性が確認された。