[論文レビュー] TEM: High Utility Metric Differential Privacy on Text

Ricardo Silva Carvalho, Theodore Vasiloudis+1 more|arXiv (Cornell University)|Jul 16, 2021

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

本稿では、埋め込み空間の密度に応じた適応的ノイズキャリブレーションを可能にする、テキストデータ向けの新しい微分プライバシー手法であるTruncated Exponential Mechanism (TEM)を提案する。TEMは、メトリックに基づくスコアリングシステムを用いて候補語集合からプライバシー保護された語を選択する。この手法により、同じプライバシー予算下で最先端の手法よりも顕著に高い有効性を達成できる。特に、任意の距離メトリックをサポートし、機密データで学習された埋め込みも可能である。

ABSTRACT

Ensuring the privacy of users whose data are used to train Natural Language Processing (NLP) models is necessary to build and maintain customer trust. Differential Privacy (DP) has emerged as the most successful method to protect the privacy of individuals. However, applying DP to the NLP domain comes with unique challenges. The most successful previous methods use a generalization of DP for metric spaces, and apply the privatization by adding noise to inputs in the metric space of word embeddings. However, these methods assume that one specific distance measure is being used, ignore the density of the space around the input, and assume the embeddings used have been trained on non-sensitive data. In this work we propose Truncated Exponential Mechanism (TEM), a general method that allows the privatization of words using any distance metric, on embeddings that can be trained on sensitive data. Our method makes use of the exponential mechanism to turn the privatization step into a \emph{selection problem}. This allows the noise applied to be calibrated to the density of the embedding space around the input, and makes domain adaptation possible for the embeddings. In our experiments, we demonstrate that our method significantly outperforms the state-of-the-art in terms of utility for the same level of privacy, while providing more flexibility in the metric selection.

研究の動機と目的

• 既存のメトリック微分プライバシー手法が固定された距離メトリックを仮定し、埋め込み空間の密度を無視し、非機密の埋め込みを前提としているという限界を是正すること。
• 任意の距離メトリックをサポートし、機密データで学習された語の埋め込みに対するドメイン適応を可能にする汎用的メカニズムの開発。
• 局所的埋め込み空間密度に基づいたノイズ注入キャリブレーションにより、微分プライバシーNLPにおける有効性の向上。
• 切断とGumbelノイズサンプリングを用いることで、従来の指数的メカニズムに基づく手法よりも計算効率の高い代替手法の構築。

提案手法

• TEMは、語のプライバシー保護を指数的メカニズムを用いた選択問題として定式化し、候補語は埋め込み空間における距離の近さに比例した確率で選択される。
• 計算効率を向上させるために、入力からの距離が事前に定義されたγ以内の語に限定するための切断ステップを適用する。
• 明示的な確率計算を避けるために、Gumbel分布に従う確率的変数を用いてノイズを注入する。
• 任意の有効な距離関数（例：ユークリッド距離、コサイン類似度）を用いてメトリック空間を定義可能であり、メトリック選択の柔軟性を提供する。
• γを超えるすべての語を表す特別な記号⊥を導入し、選択された場合に一様にサンプリングされるようにグループ化する。
• アルゴリズムはε-メトリック微分プライバシーを満たすことが形式的に証明されており、元の指数的メカニズムと分布的に同等であることが示されている。

(a) Utility Evaluation

実験結果

リサーチクエスチョン

• RQ1 埋め込み空間における任意の距離メトリックをサポートできる、テキストデータ向けの微分プライバシー手法を設計できるか？
• RQ2 局所的埋め込み空間密度に応じたノイズキャリブレーションをどのように適応させるか？これにより有効性が向上するか？
• RQ3 強力なプライバシー保証を維持しつつ、NLPにおける語選択に適した、指数的メカニズムの計算効率の高い変種を構築できるか？
• RQ4 提案手法は、同じプライバシー予算下で、既存の最先端手法を有効性の面で上回るか？
• RQ5 機密データで学習された語の埋め込みを、最終的なメカニズムのプライバシー保証を損なうことなく使用できるか？

主な発見

• 同じプライバシー予算（ε = 1.0）下で、TEMは最先端のMadlib手法よりも顕著に高い有効性を達成し、IMDBセンチメント分類タスクで12.5%の精度向上を達成した。
• 形式的に証明されたように、TEMは強いプライバシー保証を維持しており、ε-メトリック微分プライバシーを満たしている。
• 局所的埋め込み空間密度に応じたノイズの適応により、語の類似度が高い高密度領域における有効性損失が低減された。
• 事前処理後、1入力あたりの候補語検索がO(1)で実現される計算効率の高いTEMバージョン（アルゴリズム3）により、大規模語彙に対してもスケーラブルである。
• Gumbelノイズの使用により、明示的な確率計算を回避しつつ、プライバシーを保持したまま実行時間の性能向上を達成した。
• TEMは、機密データで学習されたドメイン適応型埋め込みをサポートするが、従来の手法とは異なり、非機密表現を前提としていない。

(b) Empirical Privacy Evaluation