[論文レビュー] Byzantine-Robust Learning on Heterogeneous Datasets via Resampling

Lie He, Sai Praneeth Karimireddy+1 more|arXiv (Cornell University)|May 4, 2021

Privacy-Preserving Technologies in Data参考文献 56被引用数 24

ひとこと要約

本稿では、非独立同分布（non-i.i.d.）のデータを持つワーカーを含む異種データ環境下におけるByzantine耐性の高い機械学習を向上させるためのユニバーサルなリサンプリング手法を提案する。局所的データの再サンプリングにより統計的乖離を低減することで、従来の耐性アグリゲーション手法が、データの非独立同分布性を悪用する標的攻撃に対しても高い性能を維持できるようにする。

ABSTRACT

In Byzantine-robust distributed optimization, a central server wants to train a machine learning model over data distributed across multiple workers. However, a fraction of these workers may deviate from the prescribed algorithm and send arbitrary messages to the server. While this problem has received significant attention recently, most current defenses assume that the workers have identical data distribution. For realistic cases when the data across workers are heterogeneous (non-iid), we design new attacks that circumvent these defenses leading to significant loss of performance. We then propose a universal resampling scheme that addresses data heterogeneity at a negligible computational cost. We theoretically and experimentally validate our approach, showing that combining resampling with existing robust algorithms is effective against challenging attacks.

研究の動機と目的

• ワーカー間でデータが非i.i.d.であるという現実的で一般的な状況下で、Byzantine耐性学習の防御に課題が生じるというギャップを解決すること。
• データの非独立同分布性を悪用して従来の耐性アグリゲーション手法を回避する新たな攻撃を同定し、実証すること。
• 学習パイプラインのコア部分を変更せずに、ワーカー間のデータ分布のずれを軽減するための軽量でユニバーサルなリサンプリング機構を設計すること。
• トレーニングプロセスへの最小限の変更で、既存の耐性アグリゲーションアルゴリズムと互換性を保つこと。
• 理論的および実験的検証により、リサンプリングが標的攻撃下でもモデルの耐性と精度を顕著に向上させることを示す。

提案手法

• 各ワーカーの局所的トレーニングデータを再重み付けまたは再サンプリングすることで、グローバルデータ分布からの統計的乖離を低減するユニバーサルなリサンプリング戦略を導入する。
• 局所的モデル更新の前にリサンプリングを適用することで、各ワーカーの局所的データがグローバルデータ分布をより適切に代表するようにする。
• Krum、Median、Trimmed Meanなどの標準的なByzantine耐性アグリゲーションフレームワークに、コアのアグリゲーション論理を変更せずにリサンプリングステップを統合する。
• クラスや特徴の頻度に基づくシンプルでデータに依存しないリサンプリングルールを用い、計算オーバーヘッドを最小限に抑える。
• リサンプリング処理は各ワーカーごとに独立して実行され、下位のモデルアーキテクチャーや損失関数に依存しない。
• 理論的分析により、リサンプリングがByzantine行動下でのモデル収束性と耐性に及ぼすデータ非独立同分布性の影響を軽減することが示された。

実験結果

リサーチクエスチョン

• RQ1 非i.i.d.データ環境下で、標的攻撃にさらされた場合、既存のByzantine耐性アグリゲーションアルゴリズムはどの程度の性能を示すか？
• RQ2 データの非独立同分布性は、Byzantineワーカーによって、標準的な防御メカニズムの耐性を損なうために利用可能か？
• RQ3 ユニバーサルなリサンプリングスキームは、非独立同分布かつByzantine影響を受ける環境下で、機械学習モデルの耐性と精度を向上させるか？
• RQ4 リサンプリングの計算コストはどの程度で、さまざまなデータおよびモデル設定においても軽量のままであるか？
• RQ5 リサンプリングは、アーキテクチャの変更なしに、既存の耐性アグリゲーションアルゴリズムとシームレスに統合可能か？

主な発見

• 提案されたリサンプリングスキームは、データ非独立同分布性を悪用してモデル性能を低下させる新たな攻撃を効果的に無効化する。
• リサンプリングにより、従来の耐性アグリゲーションアルゴリズムが、非i.i.d.データ環境下でも強力で適応的なByzantine攻撃に対して高い精度を維持できる。
• リサンプリングの計算コストは無視できるほど低く、大規模な分散学習システムにおいて実用的である。
• 理論的分析により、リサンプリングがワーカー間の統計的乖離の影響を軽減し、収束性と耐性を向上させることを確認した。
• 実験的結果により、標準的なByzantine耐性アグリゲーション手法と組み合わせた場合、精度と耐性の両面で顕著な性能向上が得られた。
• 本手法は普遍的に適用可能であり、既存の防御フレームワークの再トレーニングやアーキテクチャの変更を一切必要としない。