[論文レビュー] Backdoor Attacks on Federated Learning with Lottery Ticket Hypothesis

Zeyuan Yin, Ye Yuan+2 more|arXiv (Cornell University)|Sep 22, 2021

Privacy-Preserving Technologies in Data参考文献 27被引用数 6

ひとこと要約

この論文は、ロキッジティケット仮説に基づくフェデレーテッドラーニング（LotteryFL）が、標準的なフェデレーテッドラーニングと同様にバックドア攻撃に対して脆弱であることを示しており、攻撃によってチケット構造が損なわれても重要なニューロンが保持されることを明らかにしている。本研究では、ハミング距離を用いたマスク類似度に基づく検出手法を提案し、FLシステムにおける強固な防御を可能にしている。

ABSTRACT

Edge devices in federated learning usually have much more limited computation and communication resources compared to servers in a data center. Recently, advanced model compression methods, like the Lottery Ticket Hypothesis, have already been implemented on federated learning to reduce the model size and communication cost. However, Backdoor Attack can compromise its implementation in the federated learning scenario. The malicious edge device trains the client model with poisoned private data and uploads parameters to the center, embedding a backdoor to the global shared model after unwitting aggregative optimization. During the inference phase, the model with backdoors classifies samples with a certain trigger as one target category, while shows a slight decrease in inference accuracy to clean samples. In this work, we empirically demonstrate that Lottery Ticket models are equally vulnerable to backdoor attacks as the original dense models, and backdoor attacks can influence the structure of extracted tickets. Based on tickets' similarities between each other, we provide a feasible defense for federated learning against backdoor attacks on various datasets.

研究の動機と目的

• フェデレーテッドラーニング環境下におけるロキッジティケット仮説に基づくLotteryFLのバックドア攻撃に対する脆弱性を調査すること。
• バックドア攻撃がチケット抽出プロセス中のプルーニング段階で抽出されたロキッジティケットの構造的コンポジションにどのように影響を与えるかを分析すること。
• プルーニングマスクの構造的類似度を用いて、フェデレーテッドラーニングにおけるバックドア入りチケットを検出する実用的な防御メカニズムを開発すること。
• 多様なバックドア攻撃シナリオ下で、複数のデータセットおよびモデルアーキテクチャにおいて、検出手法の有効性を評価すること。
• 防御メカニズムが、誤検出を最小限に抑えつつ、正常チケットが悪意あるものと誤分類されてもモデル性能を損なわないように、強固であることを保証すること。

提案手法

• クライントデータを汚染するために、固定された白い正方形トリガーを有するBadNetと、ランダムに生成された正方形トリガーを有するRandom Trigger Attackの2種類のバックドア攻撃変種を採用する。
• ロキッジティケット仮説を用いてモデルの学習とプルーニングを実施し、正常およびバックドア入りの学習データからサブネットワーク（ロキッジティケット）を抽出する。
• ロキッジティケットのバイナリーマスク間のハミング距離を用いて構造的類似度を計算し、バックドア汚染の兆候を示す異常を特定する。
• 多数の他のクライントのチケットと顕著に類似度が低いクライントを特定する検出関数（Detect()）を実装する。
• 検出されたチケットにおけるバックドアを軽減するためのファインチューニング手順（FineTune()）を適用し、モデルの正確性と耐性を回復させる。
• 複数のプルーニング比（30%、50%、70%）およびデータセット（CIFAR-10、CIFAR-100、VGG16、ResNet18）において、正常チケットとバックドア入りチケットの類似度を比較する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおけるロキッジティケットサブネットワークは、元の密接続モデルと同等にバックドア攻撃に対して脆弱であるか？
• RQ2 バックドア攻撃は、特にニューロンの保持率とプルーニングパターンの観点から、抽出されたロキッジティケットの構造的コンポジションにどのように影響を与えるか？
• RQ3 フェデレーテッドラーニングにおけるバックドア入りモデルの検出に、ロキッジティケットマスクの構造的類似度を信頼できる指標として用いることができるか？
• RQ4 提案された検出手法は、誤検出を最小限に抑えつつ、モデルの正確性と耐性をどの程度維持できるか？
• RQ5 フェデレーテッド環境下で、データ汚染度や非独立同分布（non-iid）データ分布の変動に応じて、防御メカニズムはどの程度の性能を示すか？

主な発見

• LotteryFLは、標準的なフェデレーテッドラーニングと同等にバックドア攻撃に対して脆弱であり、プルーニング後でも攻撃成功率（ASR）が高く維持される（例：CIFAR-10で70%プルーニング時、ASR 98.7%）。
• バックドア攻撃は抽出されたロキッジティケットの構造を顕著に変化させ、VGG16-CIFAR10で30%プルーニング時、正常チケットとバックドア入りチケットの平均類似度が最大33%低下する。
• モデル正確性に不可欠なニューロン（キーニューロン）は、正常およびバックドア入りチケットの両方で高い確率で保持されるため、攻撃下でも高いクリーンデータ正確性（CDA）を示す。
• 提案された検出手法は、正常チケットとバックドア入りチケットの類似度スコアが顕著に低い（例：67.09–77.37）ことから、高い正確性でバックドア入りチケットを効果的に同定できる。
• 検出とファインチューニングを組み合わせた防御パイプラインは、モデル性能を効果的に回復させ、バックドアの影響を低減するが、クリーン正確性を損なわない。
• 誤検出が発生しても（正常チケットが悪意あるものと誤分類されても）、ファインチューニングステップによりモデルの有用性が保持され、性能の低下が生じない。