[論文レビュー] Federated Robustness Propagation: Sharing Adversarial Robustness in Federated Learning.

Junyuan Hong, Haotao Wang+2 more|arXiv (Cornell University)|Jun 18, 2021

Adversarial Robustness in Machine Learning参考文献 52被引用数 6

ひとこと要約

本稿では、敵対的ロバストネスを、敵対的訓練が可能な高リソースのFLユーザーから、データおよび計算リソースが限られた低リソースユーザーに伝達する方法であるFederated Robustness Propagationを提案する。フェデレーテッドラーニング中にバッチ正規化の統計を戦略的に共有することにより、AT能力のないユーザーですら強力なロバストネスを達成できるようになり、最小限のコストでFLシステム全体のレジlienceを著しく向上できる。

ABSTRACT

Federated learning (FL) emerges as a popular distributed learning schema that learns a model from a set of participating users without requiring raw data to be shared. One major challenge of FL comes from heterogeneity in users, which may have distributionally different (or non-iid) data and varying computation resources. Just like in centralized learning, FL users also desire model robustness against malicious attackers at test time. Whereas adversarial training (AT) provides a sound solution for centralized learning, extending its usage for FL users has imposed significant challenges, as many users may have very limited training data as well as tight computational budgets, to afford the data-hungry and costly AT. In this paper, we study a novel learning setting that propagates adversarial robustness from high-resource users that can afford AT, to those low-resource users that cannot afford it, during the FL process. We show that existing FL techniques cannot effectively propagate adversarial robustness among non-iid users, and propose a simple yet effective propagation approach that transfers robustness through carefully designed batch-normalization statistics. We demonstrate the rationality and effectiveness of our method through extensive experiments. Especially, the proposed method is shown to grant FL remarkable robustness even when only a small portion of users afford AT during learning. Codes will be published upon acceptance.

研究の動機と目的

• ユーザーが非同一分布のデータを保有し、計算リソースが限られている状況下で、フェデレーテッドラーニングにおける敵対的ロバストネスの課題に対処すること。
• データおよび計算リソースの制約により敵対的訓練が不可能な低リソースユーザーが、高リソースユーザーから伝達されたロバストネスの恩恵を受けること。
• 非i.i.d.かつリソース制約のあるユーザー間でロバストネスを伝達する点で、従来のFL手法の限界を克服すること。
• 追加のデータや低リソースクライアントでの再トレーニングを必要としない、軽量で効果的なロバストネス伝達メカニズムを設計すること。

提案手法

• この手法は、敵対的訓練を実施する高リソースユーザーのバッチ正規化統計を活用し、低リソースクライアントへロバストネスを伝達する。
• ロバストネスはバッチ正規化層の累積統計に埋め込まれており、これらがフェデレーテッドラーニングの集約段階で共有される。
• 低リソースクライアントでの再トレーニングや追加データの必要性はなく、モデル集約段階での統計的伝達に依存する。
• 敵対的一般化特性を保持するように、正規化統計の設計を慎重に行うことで、ロバストネス伝達を実現する。
• 標準的なFLフレームワークと互換性があり、最小限の計算オーバーヘッドを伴う。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおいて、高リソースユーザーから低リソースユーザーへ敵対的ロバストネスを効果的に伝達できるか？
• RQ2 低リソースクライアントで敵対的訓練を実施せずに、ロバストネスをどのように伝達できるか？
• RQ3 提案手法は、非i.i.d.データおよび限られたクライアントリソース下でもロバストネスの向上を維持できるか？
• RQ4 バッチ正規化統計の共有が、全体のFLロバストネスに及ぼす影響は何か？

主な発見

• 提案手法は、敵対的訓練を実施するユーザーの割合が僅かであっても、FLシステム全体の敵対的ロバストネスを顕著に向上させる。
• 低リソースユーザーは敵対的訓練を実施しなくても、バッチ正規化統計の伝達のおかげで強力なロバストネスを達成する。
• 非i.i.d.データ分布下でも高いモデル精度を維持し、標準的なFLベースラインを上回るロバストネス性能を示す。
• 計算オーバーヘッドが最小限に抑えられ、リソース制約のあるクライアントを想定した実世界のFL展開において実用的である。