[論文レビュー] Gradient-Leaks: Understanding and Controlling Deanonymization in Federated Learning

Tribhuvanesh Orekondy, Seong Joon Oh+3 more|arXiv (Cornell University)|May 15, 2018

Privacy-Preserving Technologies in Data参考文献 113被引用数 20

ひとこと要約

この論文は、フェデレーテッドラーニングにおけるモデル更新が、ユーザー固有のデータバイアスを漏洩させることを特定し、最小限の事前情報のもとでも参加デバイスのデアノニマイズが可能であることを示している。著者らは、特にマルチモーダルオーグメンテーション（mm-aug）を含むキャリブレーションされたデータオーグメンテーション戦略を提案し、モデルの有用性にほとんど影響を与えることなくデアノニマイズリスクを顕著に低減しており、ノイズベースや摂動防御を上回る性能を示している。

ABSTRACT

Federated Learning (FL) systems are gaining popularity as a solution to training Machine Learning (ML) models from large-scale user data collected on personal devices (e.g., smartphones) without their raw data leaving the device. At the core of FL is a network of anonymous user devices sharing training information (model parameter updates) computed locally on personal data. However, the type and degree to which user-specific information is encoded in the model updates is poorly understood. In this paper, we identify model updates encode subtle variations in which users capture and generate data. The variations provide a strong statistical signal, allowing an adversary to effectively deanonymize participating devices using a limited set of auxiliary data. We analyze resulting deanonymization attacks on diverse tasks on real-world (anonymized) user-generated data across a range of closed- and open-world scenarios. We study various strategies to mitigate the risks of deanonymization. As random perturbation methods do not offer convincing operating points, we propose data-augmentation strategies which introduces adversarial biases in device data and thereby, offer substantial protection against deanonymization threats with little effect on utility.

研究の動機と目的

• フェデレーテッドラーニングのモデル更新が、データ最小化の原則にもかかわらずユーザー端末をデアノニマイズ可能かどうかを調査すること。
• 異なる写真撮影習慣などのユーザー固有のデータバイアスが、モデル更新において指紋として機能する仕組みを分析すること。
• 特にデータオーグメンテーション技術を含むさまざまな緩和戦略の有効性を評価し、デアノニマイズリスクを低減すること。
• デアノニマイズと属性推定攻撃を組み合わせることで、フェデレーテッドラーニングにおけるプライバシー脅威がどのように拡大するかを示すこと。
• ドメイン固有のデータオーグメンテーションを用いた実用的で有用性を保つ防御戦略を提案・検証すること。

提案手法

• 著者らは、1ユーザーあたり1枚の事前データ（例：1枚の画像）を用いた限定的な事前情報に基づき、モデルパラメータの更新からデバイスを再識別するデアノニマイズ攻撃を実施している。
• クローズドワールドおよびオープンワールドの両方のシナリオ、特にテキスト事前情報が画像学習に用いられるようなクロスモーダル攻撃を評価している。
• 提案された緩和戦略であるmm-aug（マルチモーダルオーグメンテーション）は、ラベル付きの背景データや合成データを用いて訓練データに敵対的バイアスを導入することで、学習に使用するデータを拡張する。
• mm-augは、ランダムなガウスノイズ、背景置換（bkg-repl）、およびプライバシーを保証するフェデレーテッドアベーリージング（dp-fedavg）といったベースライン防御と比較している。
• この手法は、訓練データに拡張を施して更新の統計的分布をずらし、識別性を低下させる一方で、タスクパフォーマンスを維持する。
• 性能は、敵対的再識別精度（チャンスレベルを超えたAP）およびモデルの有用性（防御なしの状態を1.0に正規化）を用いて評価している。

実験結果

リサーチクエスチョン

• RQ1 攻撃者が、ターゲットユーザーの1つの事前例のみを用いて、フェデレーテッドラーニングにおいてデバイスをデアノニマイズ可能か？
• RQ2 ユーザー固有のデータ収集習慣（例：写真撮影習慣の違い）が、モデル更新に顕著な識別可能な統計的指紋を生じる程度はどの程度か？
• RQ3 データオーグメンテーション戦略は、モデルの有用性を維持しつつ、デアノニマイズリスクをどの程度低減できるか？
• RQ4 テキスト事前情報が画像学習に用いられるようなクロスモーダル設定においても、デアノニマイズ攻撃は拡張可能か？
• RQ5 デアノニマイズと属性推定攻撃を組み合わせることで、攻撃性能が相乗的に向上するか？

主な発見

• PIPA や Blog といった実世界のデータセットを用いた画像分類タスクにおいて、デバイスのデアノニマイズがチャンスレベル比で19～175倍の高い正確性で達成可能である。
• クロスモーダルデアノニマイズ攻撃ではAUCが0.76に達し、事前情報のモダリティが学習データと異なる場合でも効果的であることが示された。
• mm-augは、OpenImagesでは敵対的APを75%、PIPAでは67%低減し、ノイズやbkg-repl手法を上回る性能を示した。
• ランダム摂動やプライバシーを保証する手法は、モデルの有用性を著しく損なうため、実世界のフェデレーテッドラーニングには実用的でない。
• デアノニマイズと属性推定攻撃を組み合わせることで、両タスクで最大4%の性能向上が達成され、複合脅威の深刻さが浮き彫りになった。
• mm-augは、訓練オーバーヘッドが増加するものの、データオーグメンテーションの効果により、高いプライバシー保護レベルでも有用性を維持、あるいは向上させている（有用性 >1.0）。