[論文レビュー] Characterizing Internal Evasion Attacks in Federated Learning
本稿では、内部撹乱攻撃（悪意あるクライアントが共有モデル知識を活用して低々たる高成功率の撹乱攻撃を仕掛ける）に対して防御できる、敵対的訓練とクライアント固有のモデルパーソナライゼーションを組み合わせたパーソナライズドフェデレーテッドラーニングフレームワークpFedDefを提案する。標準的なフェデレーテッド敵対的訓練（FAT）と比較して、内部攻撃に対する耐性を60%向上させつつ、限られたリソース下でも高い性能を維持していることが示された。
Federated learning allows for clients in a distributed system to jointly train a machine learning model. However, clients' models are vulnerable to attacks during the training and testing phases. In this paper, we address the issue of adversarial clients performing "internal evasion attacks": crafting evasion attacks at test time to deceive other clients. For example, adversaries may aim to deceive spam filters and recommendation systems trained with federated learning for monetary gain. The adversarial clients have extensive information about the victim model in a federated learning setting, as weight information is shared amongst clients. We are the first to characterize the transferability of such internal evasion attacks for different learning methods and analyze the trade-off between model accuracy and robustness depending on the degree of similarities in client data. We show that adversarial training defenses in the federated learning setting only display limited improvements against internal attacks. However, combining adversarial training with personalized federated learning frameworks increases relative internal attack robustness by 60% compared to federated adversarial training and performs well under limited system resources.
研究の動機と目的
- フェデレーテッドラーニングにおける内部撹乱攻撃の脅威を特定すること。ここでの攻撃者は、共有されたモデル重みを活用して効果的な撹乱攻撃を仕掛ける。
- 異なるデータ類似度とフェデレーテッドラーニング手法の下での、モデルの精度と耐性のトレードオフを分析すること。
- 特に攻撃者が被害者のモデル知識を完全に把握できるホワイトボックス環境下で、敵対的訓練が内部攻撃に対してどの程度防御効果を発揮するかを評価すること。
- パーソナライズドフェデレーテッドラーニングが、クライアント間のモデル類似度を低くすることで、この脅威を軽減できるかを検討すること。
- さまざまなトレーニングフレームワーク下での、アンサンブル攻撃およびシビル攻撃に対するフェデレーテッドラーニングシステムのレジリエンスを調査すること。
提案手法
- 各クライアントがパーソナライズドモデルを保持しつつ、グローバルモデルの更新のみを共有する、敵対的訓練をパーソナライズドフェデレーテッドラーニングに統合したpFedDefを提案する。
- 攻撃者が被害者のモデルの部分的知識を持つグレイボックス脅威モデルを採用し、フェデレーテッドシステムにおける現実的な内部攻撃シナリオをシミュレートする。
- フェデレーテッドアグリゲーション中に共有されるモデル重みを用いて勾配ベースの撹乱攻撃を生成し、クライアント間で転送可能な摂動を生成する。
- FedAvg、FedEM、および敵対的訓練を有無するパーソナライズドバージョンを含む、複数のフェデレーテッドラーニング手法における攻撃転送性を評価する。
- 複数の悪意あるクライアントからの摂動を組み合わせることでアンサンブル攻撃を実行し、連携攻撃をシミュレートする。
- ラベル反転によるポイズニング攻撃を用いてシビル攻撃に対するレジリエンスを評価し、異なるアグリゲーション戦略下での標準的および敵対的トレーニング済みモデルを比較する。
実験結果
リサーチクエスチョン
- RQ1クライアント間のデータ類似度の程度が、フェデレーテッドラーニングにおける内部撹乱攻撃の転送性にどのように影響するか？
- RQ2攻撃者が被害者のモデルをホワイトボックスで完全に把握できる状況下で、敵対的訓練のみが内部撹乱攻撃の成功率をどの程度低下させるか？
- RQ3パーソナライズドフェデレーテッドラーニングは、モデル精度を損なわせることなく、内部撹乱攻撃に対する耐性を向上させることができるか？
- RQ4複数の悪意あるクライアントから生成されたアンサンブル攻撃は、パーソナライゼーション有無のフェデレーテッドモデルに対してどの程度効果的か？
- RQ5pFedDefおよび他のフレームワークは、トレーニング中におけるシビル型データポイズニング攻撃に対してどの程度の耐性を示すか？
主な発見
- 内部撹乱攻撃は外部攻撃と比較して著しく効果的であり、特にモデル類似度が高いために攻撃転送性が高くなるFedAvgおよびFedEMにおいて顕著である。
- 敵対的訓練のみでは内部攻撃に対する防御が限定的であり、悪意あるクライアントが完全なモデル知識を活用して効果的な撹乱摂動を生成できるためである。
- パーソナライゼーションによるクライアント間のモデル類似度の低減のおかげで、pFedDefはフェデレーテッド敵対的訓練（FAT）と比較して内部攻撃に対する耐性を60%向上させた。
- pFedDefは、複数の悪意あるクライアントからのアンサンブル攻撃に対しても高い耐性を示し、FedEMおよびFedAvgは攻撃メンバーが増えるにつれて攻撃成功率が上昇するのを上回る性能を示した。
- シビル攻撃はFedEMおよびFedAvgのテスト精度を低下させるが、FATおよびpFedDefはトレーニング中に敵対的例にさらされたことで、より高い耐性を示した。
- ローカルトレーニングおよび敵対的ローカルトレーニングは、攻撃ステップの影響を最も軽減しているが、全体のテスト精度が低いため、耐性と性能のトレードオフが顕著である。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。