[論文レビュー] Privacy Leakage of Real-World Vertical Federated Learning.

Haiqin Weng, Juntao Zhang+4 more|arXiv (Cornell University)|Nov 18, 2020

Privacy-Preserving Technologies in Data参考文献 35被引用数 27

ひとこと要約

この論文は、プロトコルを順守する誠実だが好奇心の強い攻撃者に対しても、垂直フェデレーテッドラーニング（VFL）システムがプライバシー漏洩の脆弱性を有することを明らかにしている。著者らは、モデルの精度に影響を与えず、プロトコルのルールから逸脱しない非侵襲的な2つの攻撃——逆和および逆乗算——を設計した。これらは、モデル更新からプライベートな訓練データを再構築可能である。

ABSTRACT

Federated learning enables mutually distrusting participants to collaboratively learn a distributed machine learning model without revealing anything but the model's output. Generic federated learning has been studied extensively, and several learning protocols, as well as open-source frameworks, have been developed. Yet, their over pursuit of computing efficiency and fast implementation might diminish the security and privacy guarantees of participant's training data, about which little is known thus far. In this paper, we consider an honest-but-curious adversary who participants in training a distributed ML model, does not deviate from the defined learning protocol, but attempts to infer private training data from the legitimately received information. In this setting, we design and implement two practical attacks, reverse sum attack and reverse multiplication attack, neither of which will affect the accuracy of the learned model. By empirically studying the privacy leakage of two learning protocols, we show that our attacks are (1) effective - the adversary successfully steal the private training data, even when the intermediate outputs are encrypted to protect data privacy; (2) evasive - the adversary's malicious behavior does not deviate from the protocol specification and deteriorate any accuracy of the target model; and (3) easy - the adversary needs little prior knowledge about the data distribution of the target participant. We also experimentally show that the leaked information is as effective as the raw training data through training an alternative classifier on the leaked information. We further discuss potential countermeasures and their challenges, which we hope may lead to several promising research directions.

研究の動機と目的

• 誠実だが好奇心の強い攻撃者（プロトコルを順守する者）のもとで、垂直フェデレーテッドラーニングにおけるプライバシー保証が侵害されるかどうかを調査すること。
• モデルの精度を変更せずに、中間のモデル更新を活用してプライベートな訓練データを再構築する実用的な攻撃を設計すること。
• 中間出力が暗号化されている場合でさえも、これらの攻撃の有効性を評価すること。
• 漏洩した情報が、下流の学習タスクにおいて、元の訓練データと同等に有用であるかどうかを評価すること。
• こうしたプロトコル準拠のプライバシー攻撃に対する防御における課題を特定し、今後のプライバシー保護型VFLプロトコルの方向性を示すこと。

提案手法

• 垂直フェデレーテッドラーニングにおけるモデル勾配や更新の集約を逆算することで、入力特徴を回復する『逆和攻撃』の設計。
• 特定のVFLプロトコルにおけるモデル更新の乗法的構造を活用し、プライベートデータを推定する『逆乗算攻撃』の開発。
• 実世界のVFLフレームワークに両攻撃を実装し、標準的なプロトコル制約下での実現可能性と有効性を評価。
• 実験で中間出力を暗号化することで、暗号化がデータ再構築を防げるかどうかを検証。
• 漏洩したデータを用いてサーヴィレート分類器を訓練し、元の訓練データと比較してその有用性を検証。
• データ分布に関する最小限の事前知識での攻撃成功を分析し、補助情報への依存度の低さを示した。

実験結果

リサーチクエスチョン

• RQ1 誠実だが好奇心の強い攻撃者が、正当なモデル更新から垂直フェデレーテッドラーニングにおけるプライベートな訓練データを再構築可能か？
• RQ2 中間モデル出力が暗号化されている場合でも、これらの攻撃は依然として有効か？
• RQ3 攻撃を成功させるために、データ分布に関するどの程度の事前知識が必要か？
• RQ4 これらの攻撃によって漏洩する情報は、元のデータで訓練された分類器と同等の性能を達成できるほど十分か？
• RQ5 こうしたプロトコル準拠のプライバシー攻撃に対する防御における根本的な課題は何か？

主な発見

• 逆和および逆乗算攻撃は、中間出力が暗号化されている場合でさえも、垂直フェデレーテッドラーニングのモデル更新からプライベートな訓練データを成功裏に再構築可能である。
• 攻撃はプロトコルの仕様から逸脱せず、最終モデルの精度を劣化させない。
• 攻撃者はデータ分布に関する最小限の事前知識しか必要としないため、実用的で広範に適用可能な攻撃である。
• 漏洩したデータは、ベンチマークデータセット上で、元の訓練データと同等に下流分類器の訓練に有効に利用可能であり、同等の性能を示した。
• 中間出力の暗号化だけでは、これらの攻撃によるプライバシー漏洩を防止できない。
• 結果として、現在のVFLセキュリティモデルにおける重要なギャップが浮き彫りになり、単純な暗号化を超える新たなプライバシー保護メカニズムの開発が求められる。