[論文レビュー] Text Embeddings Reveal (Almost) As Much As Text

John X. Morris, Volodymyr Kuleshov+2 more|arXiv (Cornell University)|Oct 10, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、繰り返し埋め込みと補正を経て仮説を改善する段階的反復的手法であるVec2Textを提案する。この手法により、32トークンの入力に対して92%の正確な回復が達成され、臨床ノートからのフルネームの89%が抽出された。これは、埋め込みが生テキストと同程度のプライバシー情報を漏洩させることを示している。

ABSTRACT

How much private information do text embeddings reveal about the original text? We investigate the problem of embedding extit{inversion}, reconstructing the full text represented in dense text embeddings. We frame the problem as controlled generation: generating text that, when reembedded, is close to a fixed point in latent space. We find that although a naïve model conditioned on the embedding performs poorly, a multi-step method that iteratively corrects and re-embeds text is able to recover $92\%$ of $32 ext{-token}$ text inputs exactly. We train our model to decode text embeddings from two state-of-the-art embedding models, and also show that our model can recover important personal information (full names) from a dataset of clinical notes. Our code is available on Github: \href{https://github.com/jxmorris12/vec2text}{github.com/jxmorris12/vec2text}.

研究の動機と目的

• 密度的なテキスト埋め込みが元の入力テキストを再構築するのに十分な情報を漏洩させることを調査すること。
• 生テキストではなく埋め込みを格納する第三者のベクトルデータベースが引き起こすプライバシーの脅威に対処すること。
• モデルの重みにアクセスできない状況でも、最新のテキスト埋め込みを逆方向に解体する実用的な手法を開発すること。
• 実世界のリtrieバルモデルから得られる埋め込みから、名前のような機密情報が回復可能であることを実証すること。
• 埋め込みが生テキストと同等のプライバシー漏洩を引き起こすため、両者を同等の機密データとして取り扱うべきであることを確立すること。

提案手法

• 埋め込みの逆方向処理を制御された生成問題として定式化：ターゲット埋め込みに近い埋め込みを持つテキストを生成する。
• 最大尤度を用いて、埋め込みから入力テキストを再構築するように条件付き言語モデルを学習し、分布 p(x|e;θ) を学習する。
• 反復的改善を適用：仮説テキストを生成し、それを埋め込み化し、仮説の埋め込みとターゲット埋め込みのコサイン類似度を計算し、差分に基づいてテキストを補正する。
• ビームサーチと補正モジュールを組み合わせ、複数ラウンドにわたり仮説を段階的に改善する。
• 各仮説の埋め込みを照会できるブラックボックスアクセスを活用し、改善を導く。
• 2つの最先端エンコーダーからの埋め込みでモデルを学習し、未知のドメインおよび臨床データで汎化性を評価する。

実験結果

リサーチクエスチョン

• RQ1 密度的な埋め込みから、完全な長さで順序が保たれたテキストシーケンスをどの程度再構築できるか？
• RQ2 勾配やモデル重みにアクセスできない状況でも、ブラックボックス埋め込みモデルを逆方向に処理し、正確な入力テキストを回復できるか？
• RQ3 直接生成と比較して、反復的補正は埋め込みからのテキスト回復においてどの程度効果的か？
• RQ4 ベクトルデータベースに生テキストではなく埋め込みを格納することによるプライバシーリスクは何か？
• RQ5 臨床ノートの埋め込みから、フルネームのような機密個人情報が抽出可能か？

主な発見

• Vec2Textは、反復的改善とブラックボックス埋め込み照会を用いて、32トークンのテキスト入力の92%を正確に回復した。
• 32トークンの入力に対してBLEUスコアが97.3に達し、ほぼ完全な再構築品質を示した。
• BEIRベンチマークの未観測ドメインへも一般化し、多様なテキストタイプにおいて入力を完璧に回復した。
• MIMICの臨床ノート埋め込みでは、フルネームの89%が正常に回復され、医療データにおけるリスクを浮き彫りにした。
• 結果から、テキスト埋め込みは元のテキストと同程度のプライバシー情報を露呈しており、同等のプライバシー保護措置が求められると示唆された。
• 本研究は、埋め込みが生テキストと同等のプライバシー漏洩を引き起こすため、両者を同等の機密個人データとして取り扱うべきであることを実証した。