[論文レビュー] Differentially Private Decoding in Large Language Models

Jimit Majmudar, Christophe Dupuy+4 more|arXiv (Cornell University)|May 26, 2022

Privacy-Preserving Technologies in Data被引用数 13

ひとこと要約

この論文は、再訓練を伴わずに推論時にモデルの出力確率分布に直接ノイズを適用する、大規模言語モデル（LLMs）のための微私的デコードメカニズムを提案する。この手法はプライバシーと有用性のトレードオフを実現し、強力なプライバシー保証（例：ε ≤ 65）においても有用性の低下がわずかに抑えられ、生産環境でのプライベートLLMの実用的導入を可能にする。

ABSTRACT

Recent large-scale natural language processing (NLP) systems use a pre-trained Large Language Model (LLM) on massive and diverse corpora as a headstart. In practice, the pre-trained model is adapted to a wide array of tasks via fine-tuning on task-specific datasets. LLMs, while effective, have been shown to memorize instances of training data thereby potentially revealing private information processed during pre-training. The potential leakage might further propagate to the downstream tasks for which LLMs are fine-tuned. On the other hand, privacy-preserving algorithms usually involve retraining from scratch, which is prohibitively expensive for LLMs. In this work, we propose a simple, easy to interpret, and computationally lightweight perturbation mechanism to be applied to an already trained model at the decoding stage. Our perturbation mechanism is model-agnostic and can be used in conjunction with any LLM. We provide theoretical analysis showing that the proposed mechanism is differentially private, and experimental results showing a privacy-utility trade-off.

研究の動機と目的

• 事前学習されたLLMsにおける記憶のリスク、つまり機密な訓練データの漏洩のリスクに対処すること。
• 高価な再訓練を伴わず、すでに訓練済みのLLMsに実用的なプライバシー解決策を提供すること。
• 推論時に適用可能な計算効率の良い、後処理による摂動機構を設計すること。
• 理論的および実験的に、この手法の微私的プライバシー保証と有用性のトレードオフを検証すること。
• 機密データを扱う商業的応用におけるLLMsのプライバシー保護型デプロイメントを可能にすること。

提案手法

• 推論時に、事前学習済みLLMのソフトマックス出力分布に対して摂動機構を適用し、確率分布にノイズを追加する。
• ノイズはスケールλのラプラス分布から抽出され、λがプライバシーと有用性のトレードオフを制御する。
• 微私的プライバシーの後処理性を利用しており、下流のファインチューニング後でもプライバシー保証が維持されることを保証する。
• 理論的分析により、この機構がε-微私的プライバシーを満たすことが証明され、εはλ·T/|V|で有界であることが示された。ここでTはマスクされたトークンの平均数、|V|は語彙サイズを表す。
• このアプローチはモデルに依存せず、アーキテクチャや重みの変更なしに任意のLLMに適用可能である。
• 性能低下の評価に有用性指標としてパープレキシティを用い、さまざまなプライバシー水準（ε）における性能低下を評価する。

実験結果

リサーチクエスチョン

• RQ1 軽量で後処理による摂動機構は、すでに訓練済みのLLMsに対して強力な微私的プライバシー保証を提供できるか？
• RQ2 このデコード時摂動アプローチにおいて、プライバシー（ε）とモデルの有用性（パープレキシティ）のトレードオフはいかなるものか？
• RQ3 プライバシー予算（λ）やモデル設定の変化に対して、この手法はどのように性能を示すか？
• RQ4 再訓練やアーキテクチャの変更なしに、プライバシーを保持できるか？
• RQ5 LLMが下流タスク向けにファインチューニングされた場合でも、摂動機構は有効に機能するか？

主な発見

• 実験ではε ≤ 65を達成し、最小限の有用性損失で妥当なプライバシー保証が得られた。
• ε ≤ 60（λ ≤ 0.7）では、非プライベートモデルと比較してパープレキシティが40%以上増加し、顕著な性能低下を示した。
• ε ≤ 50（λ ≤ 0.2）では、パープレキシティが20を超えて、相対的に350%の増加となり、モデルの使用不能を示した。
• ε ≥ 65では、性能低下がほとんどなく、強力なプライバシーが最小限の有用性への影響で達成可能であることが示唆された。
• プライバシー損失εは予測トークン数Tに線形に依存し、語彙サイズ|V|に反比例することが分かった。これにより、よりタイトなプライバシー境界を得るためのサポートサイズの低減の重要性が強調された。
• 微私的プライバシーの後処理性のおかげで、この手法は下流でのファインチューニング後でも有効であることが分かった。