[論文レビュー] Differentially Private Representation for NLP: Formal Guarantee and An Empirical Study on Privacy and Fairness

Lingjuan Lyu, Xuanli He+1 more|arXiv (Cornell University)|Oct 3, 2020

Privacy-Preserving Technologies in Data参考文献 37被引用数 6

ひとこと要約

本稿では、推論時にニューラルテキスト表現にローカル差分プライバシーを適用することで、形式的なプライバシー保証を達成する、新しい手法である差分プライベートニューラル表現（DPNR）を提案する。DPノイズと頑健な訓練プロセス、ドロップアウトベースのマスキングを組み合わせることで、プライバシー漏洩を低減しながら、ベンチマークNLPデータセットにおけるメインタスクの精度を維持し、デモグラフィックグループ間の公平性を向上させる。

ABSTRACT

It has been demonstrated that hidden representation learned by a deep model can encode private information of the input, hence can be exploited to recover such information with reasonable accuracy. To address this issue, we propose a novel approach called Differentially Private Neural Representation (DPNR) to preserve the privacy of the extracted representation from text. DPNR utilises Differential Privacy (DP) to provide a formal privacy guarantee. Further, we show that masking words via dropout can further enhance privacy. To maintain utility of the learned representation, we integrate DP-noisy representation into a robust training process to derive a robust target model, which also helps for model fairness over various demographic variables. Experimental results on benchmark datasets under various parameter settings demonstrate that DPNR largely reduces privacy leakage without significantly sacrificing the main task performance.

研究の動機と目的

• 推論段階におけるニューラルテキスト表現のプライバシーを形式的に定量化・保証することにより、隠れ表現からの再識別リスクに対処すること。
• 訓練データだけでなく、推論時に抽出される表現に対しても形式的プライバシー保証を提供する手法を開発すること。
• プライバシー機構の副産物として、性別や年齢などのデモグラフィックグループ間のバイアスを低減し、モデルの公平性を向上させること。
• プライバシー保護ノイズの追加にもかかわらず、メインタスク（例：センチメント分類）の高い有用性を維持すること。
• 差分プライバシーとモデルの公平性の間の相互作用を、実証的に調査すること。

提案手法

• 推論段階におけるテキストの隠れ表現にローカル差分プライバシー（LDP）を適用し、テスト段階のデータに対する形式的プライバシー保証を確保する。
• DPノイズを含む表現を訓練に組み込むことで、ターゲットモデルの有用性を維持する、頑健な訓練プロセスを導入する。
• ドロップアウトベースの語マスキングを補助的手法として採用し、感受性の高い言語的キーワードの記憶を低減することで、プライバシーをさらに強化する。
• 適切にキャリブレーションされたプライバシー予算（ε）を用いたノイズインジェクション機構を採用し、プライバシーと有用性のトレードオフを制御する。
• 2段階の訓練パイプラインを採用：まず、DPを用いてノイズ付き表現を生成し、次に、これらのノイズ付き表現を用いてターゲットモデルをファインチューニングすることで、性能を維持する。
• t-SNE可視化とサブグループ精度分析を用いて、プライバシーおよび公平性の向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 推論段階におけるニューラルテキスト表現に差分プライバシーを形式的に適用することで、感受性のある属性の再識別を防げるか？
• RQ2 DPノイズとドロップアウトマスキングの統合は、非プライベートまたは敵対的ベースラインと比較して、NLP表現におけるプライバシー漏洩を低減するか？
• RQ3 提案されたDPNR手法は、デモグラフィックサブグループ間の公平性を向上させる一方で、メインNLPタスクのパフォーマンスをどの程度維持するか？
• RQ4 DPと頑健な訓練の組み合わせは、ノイズインジェクションにもかかわらず、モデルの有用性をどのように維持するか？
• RQ5 ニューラルNLP表現における差分プライバシーとモデルの公平性の関係は何か？

主な発見

• DPNRはプライバシー漏洩を顕著に低減した：TP-USAデータセットでは、攻撃者が表現から性別を予測する精度が非プライベート時（98.07%）からDPNR時（98.00%）に低下し、ブログデータセットでも97.05%から97.09%に低下した。これは、強いプライバシー保護を示している。
• AGデータセットでは、DPNRがマイノリティエンティティグループの公平性を向上させ、メジャリティとマイノリティサブグループ間のパフォーマンスギャップを縮小した（例：エンティティAの偏差は-18.82%から-16.93%に改善）。また、統計的に有意な公平性向上（p < 0.0001）を達成した。
• DPNRは高いメインタスク精度を維持した：TP-USAでは85.90%（非プライベートベースライン85.41%）、ブログでは86.08%（非プライベート85.38%）の精度を達成し、性能劣化は最小限にとどまった。
• t-SNE可視化により、DPNRの表現がサブグループ（例：20歳未満と30歳以上）を混合しており、識別可能性が低下していることが確認され、プライバシー主張を裏付けた。
• この手法はモデルの差別を低減した：ほとんどの場合、DPNRは非プライベートおよび敵対的ベースラインと比較して、デモグラフィックグループ間の公平性偏差を低く抑えた。
• 理論的分析により、DPノイズとドロップアウトマスキングの組み合わせは、単独で用いる場合よりも強いプライバシー保証を提供することが証明された。