[論文レビュー] Information Leakage in Embedding Models

Congzheng Song, Ananth Raghunathan|arXiv (Cornell University)|Mar 31, 2020

Adversarial Robustness in Machine Learning参考文献 75被引用数 12

ひとこと要約

この論文は、事前学習された埋め込みモデルが意味的意味を超えて、回復可能な入力テキスト、著者性、まれな訓練例の所属情報といった機微な情報を漏洩していることを示している。逆方向推定、属性推定、所属関係推定攻撃を用いて、著者らは入力語の50–70％が回復可能（F1 0.5–0.7）であることを示し、少数のラベル付き例で著者性を推定可能であることを明らかにした。これにより、敵対的訓練による防御策が提案され、有用性の損失を最小限に抑えつつ漏洩を低減した。

ABSTRACT

Embeddings are functions that map raw input data to low-dimensional vector representations, while preserving important semantic information about the inputs. Pre-training embeddings on a large amount of unlabeled data and fine-tuning them for downstream tasks is now a de facto standard in achieving state of the art learning in many domains. We demonstrate that embeddings, in addition to encoding generic semantics, often also present a vector that leaks sensitive information about the input data. We develop three classes of attacks to systematically study information that might be leaked by embeddings. First, embedding vectors can be inverted to partially recover some of the input data. As an example, we show that our attacks on popular sentence embeddings recover between 50\%--70\% of the input words (F1 scores of 0.5--0.7). Second, embeddings may reveal sensitive attributes inherent in inputs and independent of the underlying semantic task at hand. Attributes such as authorship of text can be easily extracted by training an inference model on just a handful of labeled embedding vectors. Third, embedding models leak moderate amount of membership information for infrequent training data inputs. We extensively evaluate our attacks on various state-of-the-art embedding models in the text domain. We also propose and evaluate defenses that can prevent the leakage to some extent at a minor cost in utility.

研究の動機と目的

• 埋め込みモデルが意味的コンテンツを超えて意図せず機微な情報を漏洩しているかどうかを調査すること。
• 入力テキストの再構築、機微な属性推定、埋め込みベクトルにおける所属関係推定を標的とした体系的な攻撃を開発すること。
• 最先端のテキスト埋め込みモデルにおける情報漏洩の程度を評価すること。
• 漏洩を低減しつつモデルの有用性を維持する防御策を提案・評価すること。

提案手法

• 文の埋め込みベクトルから入力テキストを再構築するために、勾配ベースの最適化を用いた埋め込み逆方向推定攻撃を提案した。
• 小さなラベル付きデータセットを用いて、埋め込みから機微な属性（例：著者性）を予測するモデルを学習する属性推定攻撃を開発した。
• 訓練データとの類似度スコアに基づいて、埋め込みベクトルと訓練データの類似性を比較することで、稀な入力を標的とした所属関係推定攻撃を定式化した。
• 埋め込みモデルの学習中に敵対的訓練を適用し、特に逆方向推定と属性推定を標的として漏洩を最小限に抑えた。
• BERT、SBERT、Universal Sentence Encoderを含む複数の最先端モデルを対象に、攻撃と防御の両方を評価した。
• 攻撃のパフォーマンスと有用性のトレードオフを測定するために、F1スコア、正答率、AUCを用いた。

実験結果

リサーチクエスチョン

• RQ1 文の埋め込みベクトルから、どれほど入力テキストを再構築できるか？
• RQ2 少量のラベル付きデータで、著者性などの機微な属性を埋め込みから推定できるか？
• RQ3 埋め込みベクトルの類似度から、まれな訓練例の所属情報を漏洩しているか？
• RQ4 敵対的訓練は、モデルの有用性を著しく損なわずに情報漏洩を効果的に低減できるか？

主な発見

• 埋め込み逆方向推定攻撃により、入力語の50％から70％が再構築可能であり、文単位の再構築でF1スコアが0.5から0.7に達した。
• わずかなラベル付き埋め込みベクトルの例を用いるだけで、テキスト入力の著者性を高い正確性で推定可能であり、強力な属性漏洩が確認された。
• 所属関係推定攻撃は、訓練データとの埋め込み類似度スコアを比較することで、まれな訓練例を効果的に同定した。これは、訓練データの所属情報に中程度の漏洩が生じていることを示している。
• 敵対的訓練による防御策は、逆方向推定および属性推定攻撃の成功率を低下させたが、モデルの有用性にわずかだが測定可能な低下が生じた。
• 本研究は、埋め込みが意味的表現にとどまらず、攻撃可能な機微な情報を保持していることを明らかにした。これは、それらが導入に安全であるという仮定に疑問を呈する。
• 微分プライバシーは、パrameter数が多く、ハイパーパrameterに敏感な大規模な埋め込みモデルでは、計算的に非現実的であることが判明した。