[論文レビュー] Membership Inference on Word Embedding and Beyond

Saeed Mahloujifar, Huseyin A. Inan+3 more|arXiv (Cornell University)|Jun 21, 2021

Adversarial Robustness in Machine Learning参考文献 43被引用数 14

ひとこと要約

この論文は、埋め込み層への直接アクセスがなくても、埋め込みに保持された意味的関係を利用することで、単語埋め込みがブラックボックスのメンバーシップインファレンス攻撃に対して脆弱であることを示している。攻撃は単語埋め込みで90％を超える正確性を達成し、テキスト分類やテキスト生成などの下流タスクへも効果的に転送され、生成モデルに対するシャドーモデルベースの攻撃の安価な代替手段を提供する。

ABSTRACT

In the text processing context, most ML models are built on word embeddings. These embeddings are themselves trained on some datasets, potentially containing sensitive data. In some cases this training is done independently, in other cases, it occurs as part of training a larger, task-specific model. In either case, it is of interest to consider membership inference attacks based on the embedding layer as a way of understanding sensitive information leakage. But, somewhat surprisingly, membership inference attacks on word embeddings and their effect in other natural language processing (NLP) tasks that use these embeddings, have remained relatively unexplored. In this work, we show that word embeddings are vulnerable to black-box membership inference attacks under realistic assumptions. Furthermore, we show that this leakage persists through two other major NLP applications: classification and text-generation, even when the embedding layer is not exposed to the attacker. We show that our MI attack achieves high attack accuracy against a classifier model and an LSTM-based language model. Indeed, our attack is a cheaper membership inference attack on text-generative models, which does not require the knowledge of the target model or any expensive training of text-generative models as shadow models.

研究の動機と目的

• 現実的なブラックボックス仮定の下で、単語埋め込みがメンバーシップインファレンス攻撃に対して脆弱かどうかを調査すること。
• 単語埋め込みからのメンバーシップ漏洩が、テキスト分類やテキスト生成などの下流NLPタスクに残存するかどうかを検討すること。
• ターゲットモデルの内部パラメータやシャドーモデルへのアクセスを必要としないメンバーシップインファレンス攻撃を開発すること。
• 埋め込みに保持された意味的関係を活用して、トレーニングデータのメンバーシップを推定できることを示すこと。
• 埋め込み層が露出されていない場合でも、埋め込みからのメンバーシップ漏洩が最終タスクモデルへと転送されるかどうかを評価すること。

提案手法

• 意味的類似性のパターンに着目し、文脈的に意味的に近い語のペア（例：2020年のメール文脈における「remote」と「work」）を用いて、単語埋め込み内の意味的関係を活用するメンバーシップインファレンス攻撃を設計する。
• ターゲットモデルへのラベルのみのアクセス（ブラックボックス設定）に限定し、信頼度スコアやモデルパラメータへの依存を避ける。
• 攻撃者が提供したデータが埋め込み関数のトレーニングに使われた場合にのみ意味的に近い語のペアを構築する。
• 埋め込み層および下流モデル（例：スパム分類器やLSTMベースの言語モデル）に攻撃を適用し、漏洩の持続性をテストする。
• コサイン類似度に基づく語のペアの閾値を定義し、閾値計算に明確で自己完結的な方法を採用する。
• シャドーモデルのトレーニングが高コストであるのを避ける、コスト効率の良いテキスト生成モデル向けの新しいメンバーシップインファレンス手法を提案する。

実験結果

リサーチクエスチョン

• RQ1 半誠実な攻撃者が、ブラックボックスアクセスのみを用いて、自身のデータが単語埋め込み関数のトレーニングに使われたかどうかを推定できるか？
• RQ2 埋め込み層が露出されていない場合でも、単語埋め込みからのメンバーシップ漏洩が、テキスト分類やテキスト生成などの下流NLPタスクに転送されるか？
• RQ3 希少語の記憶に依存するのではなく、埋め込み内の意味的関係を活用する攻撃の有効性はどの程度か？
• RQ4 シャドーモデルのトレーニングやモデルの信頼度スコアへのアクセスなしに、テキスト生成モデルに対するメンバーシップインファレンス攻撃を実行できるか？
• RQ5 埋め込みの品質と意味的構造が、メンバーシップインファレンス攻撃の成功に与える影響は何か？

主な発見

• 提案されたメンバーシップインファレンス攻撃は、ブラックボックスのラベルアクセスのみを用いて、単語埋め込みで90％を超える正確性を達成する。
• 埋め込み層が直接アクセスできない状況下でも、単語埋め込みからのメンバーシップ漏洩は、下流の分類およびテキスト生成モデルへと持続する。
• 攻撃は実世界のデータセットでも有効であり、ターゲットモデルの正確なトレーニング分布へのアクセスを必要としない。
• 本研究は、希少語の中心語に依存せず、複雑な閾値チューニングも不要なため、先行研究を上回る実用性と一般化性を有する。
• 本手法により、高価なシャドーモデルのトレーニングを必要とせず、テキスト生成モデル向けの安価なメンバーシップインファレンス攻撃が可能になる。
• 本攻撃は、先行研究とは根本的に異なる。すなわち、希少トークンの記憶に依存するのではなく、埋め込み内の意味的関係を活用している。