[論文レビュー] Data Poisoning Attacks Against Federated Learning Systems

Vale Tolpegin, Stacey Truex+2 more|arXiv (Cornell University)|Jul 16, 2020

Adversarial Robustness in Machine Learning参考文献 56被引用数 51

ひとこと要約

本論文は、フェデレーテッドラーニングにおけるラベル反転による標的型データポイゾニングを実証し、グローバル精度とソースクラスのリコールの著しい低下を示すとともに、悪意あるアップデートを識別するためのPCAベースの防御を提案する。

ABSTRACT

Federated learning (FL) is an emerging paradigm for distributed training of large-scale deep neural networks in which participants' data remains on their own devices with only model updates being shared with a central server. However, the distributed nature of FL gives rise to new threats caused by potentially malicious participants. In this paper, we study targeted data poisoning attacks against FL systems in which a malicious subset of the participants aim to poison the global model by sending model updates derived from mislabeled data. We first demonstrate that such data poisoning attacks can cause substantial drops in classification accuracy and recall, even with a small percentage of malicious participants. We additionally show that the attacks can be targeted, i.e., they have a large negative impact only on classes that are under attack. We also study attack longevity in early/late round training, the impact of malicious participant availability, and the relationships between the two. Finally, we propose a defense strategy that can help identify malicious participants in FL to circumvent poisoning attacks, and demonstrate its effectiveness.

研究の動機と目的

• プライバシー保護を備えた分散学習の研究動機づけと、それが悪意ある参加者に対してどの程度脆弱であるかを示す。
• ラベル反転を用いたフェデレーテッドラーニングにおける標的型データポイゾニング攻撃を特徴づける。
• 攻撃者の存在、タイミング、可用性を変化させた場合の攻撃の影響を評価する。
• FLにおける悪意ある参加者を識別する防御戦略を提案し、実証的に検証する。

提案手法

• 正直なアグリゲータとローカルデータを保持する複数の参加者を前提としたフェデレーテッドラーニングの設定を定式化する。
• 悪意ある参加者のポイゾニング戦略としてラベル反転（src -> target）を用いる。
• CIFAR-10とFashion-MNISTに対してCNNアーキテクチャを用い、異なる悪意ある参加者割合で影響を評価する。
• 早期ポイゾニングと後期ポイゾニング、および悪意ある参加者の可用性が攻撃有効性に与える影響を分析する。
• アップデータ成分を抽出し、次にPCAで次元削減を行い、外れ値を識別することで、アグリゲータが悪意あるアップデートを検出する防御を提案する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおける標的型ラベル反転攻撃は、グローバルモデルの有用性を低下させる上でどれほど効果的か。
• RQ2 ラベル反転攻撃は、他のクラスに比べて特定のソース/ターゲットクラスを優先して劣化させるか。
• RQ3 攻撃のタイミングと悪意ある参加者の可用性は、FLにおける攻撃の影響にどのように影響するか。
• RQ4 PCAベースの防御は、ポイゾニングを緩和するために、悪意あるアップデートと正直なアップデートを信頼性高く識別できるか。

主な発見

• ラベル反転攻撃は、悪意ある参加者が少数であっても、グローバルモデルの精度とソースクラスのリコールを著しく低下させる可能性がある。
• 攻撃は標的型である傾向があり、ソースクラスとターゲットクラスのリコールを大幅に低下させる一方、他のクラスは比較的保持される。
• 後半のポイゾニングとより高い悪意ある参加者の可用性は攻撃の効果を高める一方、ポイゾニングが終了した後は多くのシナリオでモデルが回復する。
• 処理済みアップデート成分に対してPCAを用いた防御は、悪意あるアップデートを正直なアップデートと分離でき、アグリゲータが攻撃者を識別してブロックすることを可能にする。
• 攻撃の影響は、他の指標よりもターゲットとしたソースクラスのリコールにより顕著であり、焦点を絞ったポイゾニング効果を示している。