[論文レビュー] Thieves of Sesame Street: Model Extraction on BERT-based APIs

Kalpesh Krishna, Gaurav Singh Tomar+3 more|arXiv (Cornell University)|Jan 1, 2020

Adversarial Robustness in Machine Learning参考文献 42被引用数 32

ひとこと要約

この論文は、意味的・文法的に整合性のないランダムな語のシーケンスとタスク固有のヒューリスティクスを用いることで、クエリのみのアクセスによってBERTベースのNLPモデルを抽出できることを示している。低コストで被害者のモデルにほぼ同等の性能を達成できるため、トランスファーラーニングにおける深刻な脆弱性を露呈している。さらに、メンバーーシップ分類やウォーターマーキングといった防御策についても評価し、攻撃者が高度な手法を用いることでこれらを回避可能であることを示している。

ABSTRACT

We study the problem of model extraction in natural language processing, in which an adversary with only query access to a victim model attempts to reconstruct a local copy of that model. Assuming that both the adversary and victim model fine-tune a large pretrained language model such as BERT (Devlin et al., 2019), we show that the adversary does not need any real training data to successfully mount the attack. In fact, the attacker need not even use grammatical or semantically meaningful queries: we show that random sequences of words coupled with task-specific heuristics form effective queries for model extraction on a diverse set of NLP tasks including natural language inference and question answering. Our work thus highlights an exploit only made feasible by the shift towards transfer learning methods within the NLP community: for a query budget of a few hundred dollars, an attacker can extract a model that performs only slightly worse than the victim model. Finally, we study two defense strategies against model extraction—membership classification and API watermarking—which while successful against some adversaries can also be circumvented by more clever ones.

研究の動機と目的

• APIへのクエリアクセスのみを用いて、BERTベースのモデルを抽出可能かどうかを調査すること。
• NLPにおける成功したモデル抽出に、実際の訓練データが必須かどうかを評価すること。
• メンバーーシップ分類やAPIウォーターマーキングなどの防御メカニズムの有効性を評価すること。
• トランスファーラーニングがNLPにおけるモデル抽出の新たな攻撃表面をどのようにもたらすかを理解すること。

提案手法

• 攻撃者は、意味的・文法的に整合性のあるクエリが不要なため、ランダムな語のシーケンスを被害者のAPIに入力として生成する。
• タスク固有のヒューリスティクスを適用し、期待されるモデル出力をもとにクエリ選択を最適化することで、抽出の効率を向上させる。
• 攻撃者は被害モデルからの入力-出力ペアを収集し、その挙動を模倣するローカルなスワーミングモデルを訓練する。
• 抽出されたモデルは、自然言語推論や質問応答といった下流NLPタスクで評価される。
• 2つの防御戦略をテストする：抽出試行を検出するためのメンバーーシップ分類、およびモデルコピーの追跡のためのAPIウォーターマーキング。
• 攻撃は数百分のコスト制約のもとで評価され、現実的なリソース制限を模擬する。

実験結果

リサーチクエスチョン

• RQ1 意味的・意味のある入力シーケンスがなく、実際の訓練データにアクセスできないクエリオンリー攻撃者が、BERTベースのモデルを抽出可能か？
• RQ2 ランダムな語のシーケンスが、高性能なNLPモデルの抽出にどの程度有効か？
• RQ3 メンバーーシップ分類とウォーターマーキング防御は、モデル抽出攻撃をどの程度防止できるか？
• RQ4 高度な攻撃者が、既存の防御メカニズムを回避可能か？

主な発見

• ランダムな語のシーケンスにタスク固有のヒューリスティクスを組み合わせることで、多様なNLPタスクにおいて極めて効果的なモデル抽出が可能になる。
• 実際の訓練データがなくても、抽出されたモデルは被害者のモデルと数パcentポイント以内の性能を達成している。
• 数百ドル程度のクエリコストでモデル抽出が可能であり、実用的な脅威である。
• メンバーーシップ分類やウォーターマーキング防御は、より洗練された攻撃者によって回避可能である。
• この脆弱性の主な原因は、生産環境のAPIで広く使われているトランスファーラーニングおよび微調整済みBERTモデルに起因する。
• これらの結果は、クエリベースのアクセスに依存するNLPシステムにおける深刻なセキュリティギャップを強調している。