[論文レビュー] A First Order Meta Stackelberg Method for Robust Federated Learning

Yunian Pan, Tao Li+4 more|arXiv (Cornell University)|Jun 23, 2023

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本稿では、敵対的FLをベイジアン・スタックルベルク・マルコフゲーム（BSMG）としてモデル化することにより、ロバストなフェデレーテッドラーニングのための1次元メタスタックルベルク学習（meta-SL）手法を提案する。新たなメタスタックルベルク均衡（meta-SE）の概念を導入し、O(ε⁻²)イテレーションで1次元ε均衡に収束する、証明可能に効率的なアルゴリズムを提示する。1イテレーションあたりO(ε⁻⁴)のサンプルを必要とし、未知または適応的攻撃（モデル汚染やバックドア攻撃など）に対応できる適応的防御を可能にする。

ABSTRACT

Previous research has shown that federated learning (FL) systems are exposed to an array of security risks. Despite the proposal of several defensive strategies, they tend to be non-adaptive and specific to certain types of attacks, rendering them ineffective against unpredictable or adaptive threats. This work models adversarial federated learning as a Bayesian Stackelberg Markov game (BSMG) to capture the defender's incomplete information of various attack types. We propose meta-Stackelberg learning (meta-SL), a provably efficient meta-learning algorithm, to solve the equilibrium strategy in BSMG, leading to an adaptable FL defense. We demonstrate that meta-SL converges to the first-order $\varepsilon$-equilibrium point in $O(\varepsilon^{-2})$ gradient iterations, with $O(\varepsilon^{-4})$ samples needed per iteration, matching the state of the art. Empirical evidence indicates that our meta-Stackelberg framework performs exceptionally well against potent model poisoning and backdoor attacks of an uncertain nature.

研究の動機と目的

• 既存のFL防御が非適応的で、既知の攻撃タイプに特化しているという限界を解消すること。
• 攻撃タイプに関する不完全情報を取り入れるため、敵対的フェデレーテッドラーニングをベイジアン・スタックルベルク・マルコフゲーム（BSMG）としてモデル化すること。
• 情報非対称性がある中でも、オンライン実行中に戦略的適応が可能な、メタポリシーの適応を可能にする、新たなメタスタックルベルク均衡（meta-SE）の概念を確立すること。
• 最適な収束性とサンプル複雑性を備えた、証明可能に効率的な1次元メタスタックルベルク学習（meta-SL）アルゴリズムを設計すること。

提案手法

• 不完全情報下での防御者・攻撃者間の相互作用をモデル化するため、敵対的FLをベイジアン・スタックルベルク・マルコフゲーム（BSMG）として定式化する。
• 新たな解法概念として、リアルタイムフィードバックを用いたメタポリシー適応による適応的防御を可能にする、メタスタックルベルク均衡（meta-SE）を導入する。
• BSMGを解くために、デバイアス除去されたメタ強化学習の原則を用いた1次元アルゴリズムであるメタスタックルベルク学習（meta-SL）を提案する。
• Hessian計算を回避することでスケーラビリティを高めるために、唯一の確率的勾配を用いる完全1次元バージョンのReptile Meta-SLを開発する。
• 事前学習中に一連の潜在的攻撃から一般化するメタラーニングを活用し、オンライン実行時の迅速な適応を可能にする。
• 2段階フレームワークを採用する：まず、模擬攻撃上でメタポリシーを事前学習し、次に未知攻撃からのリアルタイムフィードバックを用いてオンラインで適応する。

Figure 1 : A schematic illustration of the meta-Stagberg game framework. In the pertaining stage, a simulated environment is constructed using generated data and a set of attacks sampled from the attack domain consisting of various attack strategies. The defender utilizes meta-Stackelberg learning (

実験結果

リサーチクエスチョン

• RQ1 メタラーニングフレームワークは、未知または適応的攻撃に対して、フェデレーテッドラーニングでロバストかつ適応的防御を可能にするか？
• RQ2 ベイジアン・スタックルベルク・マルコフゲーム（BSMG）は、不完全情報下での戦略的相互作用を、敵対的FLで効果的にモデル化できるか？
• RQ3 1次元メタスタックルベルク学習アルゴリズムの収束性とサンプル複雑性は、BSMG均衡を解く際にどの程度か？
• RQ4 メタスタックルベルク均衡（meta-SE）は、動的かつ不確実な攻撃環境において、従来のベイジアン・スタックルベルク均衡を上回る性能を示せるか？
• RQ5 本手法は、同時に発生するか進化する攻撃（例：同時モデル汚染とバックドア攻撃）に対してどの程度の性能を示すか？

主な発見

• meta-SLアルゴリズムは、O(ε⁻²)の勾配イテレーションで1次元ε均衡に収束し、最新の複雑性バウンズと一致する。
• 1イテレーションあたりのサンプル複雑性はO(ε⁻⁴)であり、これは最適であり、非凸二段階最適化分野の最近の結果とも整合する。
• Reptile Meta-SLバージョンは、高価なヘッセ行列計算を回避する唯一の1次元勾配を用いても、同等の性能を達成する。
• 実験的結果から、強力で適応的攻撃（例：RLベース攻撃、併存する汚染／バックドア脅威）に対して顕著なロバストネスを示す。
• わずかなリアルタイムフィードバックバッチのみを用いても、オンライン実行時の迅速な適応が可能であり、実用的導入可能性を示す。
• 提案されたメタスタックルベルク均衡（meta-SE）は、情報非対称性を効果的に処理し、動的で敵対的な環境における戦略的適応を可能にする。

(a)