[論文レビュー] Threats to Federated Learning: A Survey

Lingjuan Lyu, Han Yu+1 more|arXiv (Cornell University)|Mar 4, 2020

Privacy-Preserving Technologies in Data参考文献 43被引用数 234

ひとこと要約

このサーベイはフェデレーテッドラーニングにおける脅威モデルを、内部者による poisoning および 推論攻撃に焦点を当て、防御の方向性と研究ギャップについて論じる。

ABSTRACT

With the emergence of data silos and popular privacy awareness, the traditional centralized approach of training artificial intelligence (AI) models is facing strong challenges. Federated learning (FL) has recently emerged as a promising solution under this new reality. Existing FL protocol design has been shown to exhibit vulnerabilities which can be exploited by adversaries both within and without the system to compromise data privacy. It is thus of paramount importance to make FL system designers to be aware of the implications of future FL algorithm design on privacy-preservation. Currently, there is no survey on this topic. In this paper, we bridge this important gap in FL literature. By providing a concise introduction to the concept of FL, and a unique taxonomy covering threat models and two major attacks on FL: 1) poisoning attacks and 2) inference attacks, this paper provides an accessible review of this important topic. We highlight the intuitions, key techniques as well as fundamental assumptions adopted by various attacks, and discuss promising future research directions towards more robust privacy preservation in FL.

研究の動機と目的

• データサイロとプライバシー懸念がある状況でのフェデレーテッドラーニングとそのプライバシー影響を紹介する。
• FLの脅威モデルを分類し、内部攻撃を主要な焦点として特定する。
• poisoning および inference 攻撃を網羅し、その直感、技術、前提を説明する。
• 頑健なプライバシー保護型FLソリューションの将来の有望な研究方向を論じる。

提案手法

• 脅威を枠組み化するためのFLタイプ（HFL、VFL、FTL）と参加者役割（H2B、H2C）の分類法を提供する。
• さまざまなFL設定下でのデータ poisoned/モデル poisoned 攻撃とその有効性を要約する。
• 勾配に対する推論攻撃を説明し、クラス代表、メンバーシップ、性質、トレーニング入力/ラベルの漏洩を含む。
• ディファレンシャルプライバシーや対向的訓練を含む防御機構と制限を論じ、未解決の研究方向を概説する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおける主要な内部脅威モデルは何で、外部脅威とどう異なるのか。
• RQ2 poisoning および inference attack 技術はFLをどのように脅かし、どのFLシナリオ（H2B、H2C、VFL、FTL）で最も効果的か。
• RQ3 FLの脅威に対する防御は何があり、それらの現実世界の非IIDおよび異種設定での限界は何か。
• RQ4 頑健性とプライバシーを向上させる将来の研究方向は何か。
• RQ5 異なるFLアーキテクチャと展開シナリオは攻撃サーフェスと防御戦略にどう影響するか。

主な発見

• 内部者攻撃は、システム状態へのアクセスが大きいため、外部攻撃より通常はより強力で懸念される。
• データ poisoning および model poisoning は FL モデルを劣化させたり乗っ取ったりする可能性があり、モデル poisoning は巧妙なバックドアを導入できる。
• 推論攻撃は勾配から個人情報を漏洩させる可能性があり、クラス代表、メンバーシップ、性質、トレーニング入力/ラベルを含む。特にトレーニングフェーズの攻撃で。
• Deep Leakage from Gradients のような高度な攻撃は勾配漏洩リスクを強調し、少数回の反復でトレーニング入力とラベルを回復し得る。
• 差分プライバシーや敵対的訓練といった防御は、非IIDおよび低参加者シナリオでのプライバシーと精度、実用性のトレードオフがある。