[論文レビュー] Recovering Private Text in Federated Learning of Language Models

Samyak Gupta, Yangsibo Huang+4 more|arXiv (Cornell University)|May 17, 2022

Privacy-Preserving Technologies in Data被引用数 22

ひとこと要約

本論文は FILM を導入する。これは言語モデルの連合学習に対するテキスト特化の勾配反転攻撃であり、最大 128 のバッチから単一文または複数文を回復できる。公開済みの事前学習モデルを用いた埋め込みの凍結を防御として提案し、プライバシーと有用性のトレードオフが改善される。

ABSTRACT

Federated learning allows distributed users to collaboratively train a model while keeping each user's data private. Recently, a growing body of work has demonstrated that an eavesdropping attacker can effectively recover image data from gradients transmitted during federated learning. However, little progress has been made in recovering text data. In this paper, we present a novel attack method FILM for federated learning of language models (LMs). For the first time, we show the feasibility of recovering text from large batch sizes of up to 128 sentences. Unlike image-recovery methods that are optimized to match gradients, we take a distinct approach that first identifies a set of words from gradients and then directly reconstructs sentences based on beam search and a prior-based reordering strategy. We conduct the FILM attack on several large-scale datasets and show that it can successfully reconstruct single sentences with high fidelity for large batch sizes and even multiple sentences if applied iteratively. We evaluate three defense methods: gradient pruning, DPSGD, and a simple approach to freeze word embeddings that we propose. We show that both gradient pruning and DPSGD lead to a significant drop in utility. However, if we fine-tune a public pre-trained LM on private text without updating word embeddings, it can effectively defend the attack with minimal data utility loss. Together, we hope that our results can encourage the community to rethink the privacy concerns of LM training and its standard practices in the future.

研究の動機と目的

• 言語モデルのフェデレーテッド学習におけるプライバシー懸念を動機づけ、勾配からプライベートテキストを回復する実現可能性を示す。
• 単語埋め込み勾配を利用して語を回復し、文を再構成するテキスト重視の攻撃（FILM）を開発する。
• 大規模LMデータセット上での攻撃性能を評価し、防御手法を検討する。
• 公開LMを用いて埋め込みを凍結した場合と、異なる訓練設定でのプライバシーと有用性のトレードオフを分析する簡易な防御を提案する。

提案手法

• 語彙集合から私的バッチの候補語を特定するために単語埋め込み勾配の袋を抽出する。
• 事前学習済みまたは記憶済みの言語モデルに基づくビーム探索を用いて語集合から文を再構成する。
• perplexity と勾配ノルムを組み合わせた事前情報ベースの再順序付けステップを適用して回復文を改良する。
• 同じバッチから複数の文を回復するために攻撃を反復的に適用する。

実験結果

リサーチクエスチョン

• RQ1 大規模バッチサイズ（最大 128 文）で、盗聴者はフェデレーテッドLM訓練の勾配からプライベートテキストを回復できるか。
• RQ2 埋め込み勾配と語の priors を利用した攻撃は、私的バッチから文を回復する際にどれだけ効果的か。
• RQ3 プライバシーの漏えいを防ぎつつ、有用性の損失を過度に伴わず、公開LMとランダム初期化LMの両方でどの程度効果的な防御が機能するか。

主な発見

• FILM は最大 128 文のバッチから単一文を高忠実度で回復でき、反復を通じて複数文の一部を回復できる。
• 事前学習済みのLM から開始すると攻撃性能が向上し、訓練が進行するにつれて memorization の影響で効果が高まる。
• 勾配の剪定と DPSGD は有用性を著しく低下させる一方、公開LM を用いて埋め込みを凍結する場合は、FILM に対する防御が有用性の損失を最小限に抑えつつ効果的である。
• 私的テキストからの再訓練は公開LMから埋め込みを凍結して開始する場合より有用性の損失が大きい。
• このアプローチは GPT-2 ベースの WikiText-103 と Enron Email で機能し、実世界のLMフェデレーテッド設定における実用的なプライバシーリスクを示す。