[論文レビュー] Meta Federated Learning

Omid Aramoon, Pin‐Yu Chen+2 more|arXiv (Cornell University)|Feb 10, 2021

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、セキュアアグリゲーションを用いてクライアントのプライバシーを保護しながら、バックドア攻撃に対して効果的な防御を可能にする、新しいフェデレーテッドラーニングフレームワーク「メタフェデレーテッドラーニング（Meta-FL）」を提案する。1ラウンドあたり複数のクライアントグループを訓練し、それらの更新を安全にアグリゲートすることで、モデル更新のばらつきを低減し、Krum、座標単位中央値、トリムド平均といった既存の防御手法の耐性を高める。特にモデル置換攻撃に対して顕著な効果を示す。

ABSTRACT

Due to its distributed methodology alongside its privacy-preserving features, Federated Learning (FL) is vulnerable to training time adversarial attacks. In this study, our focus is on backdoor attacks in which the adversary's goal is to cause targeted misclassifications for inputs embedded with an adversarial trigger while maintaining an acceptable performance on the main learning task at hand. Contemporary defenses against backdoor attacks in federated learning require direct access to each individual client's update which is not feasible in recent FL settings where Secure Aggregation is deployed. In this study, we seek to answer the following question, Is it possible to defend against backdoor attacks when secure aggregation is in place?, a question that has not been addressed by prior arts. To this end, we propose Meta Federated Learning (Meta-FL), a novel variant of federated learning which not only is compatible with secure aggregation protocol but also facilitates defense against backdoor attacks. We perform a systematic evaluation of Meta-FL on two classification datasets: SVHN and GTSRB. The results show that Meta-FL not only achieves better utility than classic FL, but also enhances the performance of contemporary defenses in terms of robustness against adversarial attacks.

研究の動機と目的

• 現代のフェデレーテッドラーニングにおける重要なプライバシー保護プロトコルであるセキュアアグリゲーション下でのバックドア攻撃防御におけるギャップを埋める。
• セキュアアグリゲーション下では実行不可能であるが、既存の防御が個々のクライアント更新の点検を必要としているという制限を克服する。
• プライバシー保護アグリゲーションと互換性のあるフレームワークを設計することで、フェデレーテッドラーニングにおける耐性-有用性トレードオフを改善する。
• 集約更新のばらつきが低下することで、より良い外れ値検出と防御性能が得られることを示す。

提案手法

• 1ラウンドあたり単一のグループではなく、複数の互いに排他的なクライアントグループを訓練するフェデレーテッドラーニングフレームワーク「Meta-FL」を導入する。
• セキュアアグリゲーション（SecAgg）を用い、サーバーに送信するのはクライアントグループレベルの集約値のみであり、クライアントレベルのプライバシーを保護する。
• グループ集約値のばらつきが低減されることを活かし、Krum、座標単位中央値、トリムド平均といったロバストアグリゲーションルールの性能を向上させる。
• 両フレームワークの比較において公平性を確保するため、Meta-FLの「グループ集約値」と標準フェデレーテッドラーニングの「個々の更新」の数を一致させる。
• シビルクライアント（悪意あるクライアント）を用いて、攻撃のスケーリングを調整し、セキュアアグリゲーション下での現実的なバックドア攻撃をシミュレートする。
• グループ集約値に対して標準的なロバストアグリゲーション手法（Krum、CWM、TM）を適用し、不正な更新の検出と緩和を実現する。

実験結果

リサーチクエスチョン

• RQ1 セキュアアグリゲーションが導入された状況下でも、バックドア攻撃を効果的に防御できるか？
• RQ2 1ラウンドあたり複数のトレーニンググループを用いることで、既存の防御手法のバックドア攻撃に対する耐性が向上するか？
• RQ3 グループ集約値のばらつきが、不正更新の検出に用いられるロバストアグリゲーションルールの性能に与える影響は何か？
• RQ4 同じ攻撃条件下で、標準フェデレーテッドラーニングと比較した場合、Meta-FLは耐性-有用性トレードオフをどの程度改善するか？
• RQ5 モデル置換攻撃（攻撃者が完全なモデル更新を置き換える攻撃）は、セキュアアグリゲーション下でも防御可能か？

主な発見

• Meta-FLは、図3および図4において実線（Meta-FL）が破線（ベースラインFL）よりも常に下に位置するように、ナーブな攻撃およびモデル置換攻撃の両方において、攻撃成功確率を標準FLと比較して顕著に低減した。
• Krumは、グループ集約値のばらつきが低いため、正常更新と不正更新の分離がより効果的に行えるため、Meta-FLの恩恵を最も大きく受けた。
• グループサイズを5から15に増加させることで、集約値のばらつきが低減し、すべての攻撃シナリオにおいてKrum、CWM、トリムド平均の耐性が向上した。特に頻繁なシビル攻撃下で顕著な改善が得られた。
• RFA、微分プライバシー、ノルムバウンディングといった防御手法は、バックドア目的の非矛盾性のため、バックドア攻撃、特にモデル置換攻撃に対して限定的な有効性しか示さなかった。
• Meta-FLにおける異常検出ベースの防御（例：CWM、TM）の性能向上は、正常更新の分布がより安定的かつばらつきが少ないことに起因する。
• Meta-FLは有用性を犠牲にすることなく耐性を向上させ、同じ条件下で標準FLよりも精度と防御効果の両面で優れた性能を達成した。