[論文レビュー] A Prompting-based Approach for Adversarial Example Generation and Robustness Enhancement

Yuting Yang, Pei Huang+6 more|arXiv (Cornell University)|Mar 21, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、攻撃対象モデルのクエリを必要とせず、事前学習済み言語モデル（PLM）を活用してマスクされたトークンを埋め込むことで、自然で流暢で多様な悪意ある例を生成する、プロンプトベースの対抗的攻撃（PAT）を提案する。この手法により、攻撃成功率が高く維持される。さらに、時間のかかる対抗的サンプルの生成に依存せず、微調整中に悪意あるプロンプトを組み込むことでモデルの耐性を高める、プロンプトベースの対抗的訓練手法を導入し、従来手法と比較して最大で10%の耐性精度の向上を達成する。

ABSTRACT

Recent years have seen the wide application of NLP models in crucial areas such as finance, medical treatment, and news media, raising concerns of the model robustness and vulnerabilities. In this paper, we propose a novel prompt-based adversarial attack to compromise NLP models and robustness enhancement technique. We first construct malicious prompts for each instance and generate adversarial examples via mask-and-filling under the effect of a malicious purpose. Our attack technique targets the inherent vulnerabilities of NLP models, allowing us to generate samples even without interacting with the victim NLP model, as long as it is based on pre-trained language models (PLMs). Furthermore, we design a prompt-based adversarial training method to improve the robustness of PLMs. As our training method does not actually generate adversarial samples, it can be applied to large-scale training sets efficiently. The experimental results show that our attack method can achieve a high attack success rate with more diverse, fluent and natural adversarial examples. In addition, our robustness enhancement method can significantly improve the robustness of models to resist adversarial attacks. Our work indicates that prompting paradigm has great potential in probing some fundamental flaws of PLMs and fine-tuning them for downstream tasks.

研究の動機と目的

• 悪意あるプロンプトが事前学習済み言語モデル（PLM）に内在する耐性欠陥を露呈できるかどうかを調査すること。
• 攻撃対象モデルとの反復的相互作用を必要としない、クエリ効率の良い対抗的攻撃手法を開発すること。
• 従来の探索ベースの手法と比較して、より自然で流暢で多様な対抗的例を生成すること。
• 時間のかかる対抗的サンプルの生成に依存せず、微調整中に悪意あるプロンプトを統合することでモデルの耐性を向上させる、プロンプトベースの対抗的訓練技術を設計すること。
• プロンプトがPLMにおける根本的な脆弱性を効果的に探査・是正する強力なパラダイムであることを示すこと。

提案手法

• 特定の対抗的意図を伝える悪意あるトリガー文を含む、マスクされた入力を有するプロンプトテンプレートを構築する。
• 事前学習済み言語モデルを用いて、プロンプト内のマスクされたスロットを埋め込み、悪意ある意図を組み込んだ言い換え表現を生成する。
• トリガー文を削除することで、意味的整合性を保ちつつ、下流分類器をだます自然な見た目の対抗的例を取得する。
• 攻撃性能を向上させるために、少数の既知の対抗的例を用いてプロンプトベースの攻撃を微調整する。これは、モデルが例から学ぶのと同様のメカニズムを模倣する。
• 微調整中に悪意あるプロンプトを統合することで、対抗的サンプルを明示的に生成する必要がない、プロンプトベースの対抗的訓練手法を設計する。
• プロンプトベースの訓練を下流モデルに適用し、テストセットにおける高いクリーン精度を維持しながら耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 悪意ある構築されたプロンプトは、事前学習済み言語モデルに内在する脆弱性を効果的に悪用し、対抗的例を生成できるか？
• RQ2 プロンプトベースの手法は、探索ベースの手法と比較して、より自然で流暢で多様な対抗的例を生成できるか？
• RQ3 攻撃対象モデルのクエリを一切行わずに、プロンプトベースの攻撃がどの程度成功するか？
• RQ4 プロンプトベースの対抗的訓練は、クリーン精度を損なうことなく、モデルの耐性を顕著に向上させられるか？
• RQ5 プロンプトは、スケーラブルかつ効果的なパラダイムとして、NLPモデルの耐性分析と強化に役立つのか？

主な発見

• 提案されたPAT攻撃は、MRデータセットで43.02%、IMDBデータセットで36.87%の高い攻撃成功率を達成し、探索ベースのベースラインと比較して、より優れた流暢さと多様性を示した。
• SNLIデータセットでは、PATは44.50%の耐性精度を達成し、ベースラインのBERTモデル（29.50%）および対抗的訓練手法（22.00%）を上回った。
• プロンプトベースの対抗的訓練手法は、従来の対抗的訓練と比較して、耐性精度を約10%向上させたが、クリーン精度は2%未満の低下に抑えられた。
• クリーン精度を高い水準（例：MRで89.50%、IMDBで92.20%）で維持しながら耐性を顕著に向上させたため、精度と耐性のトレードオフが良好であることが示された。
• 実験により、プロンプトベースの訓練手法はスケーラブルで効率的であることが判明した。これは、トレーニング中に対抗的サンプルを生成するコストのかかるプロセスを回避できるためである。
• 結果から、注意深く設計されたプロンプトは、PLMの耐性欠陥を効果的に探査・悪用できることを示しており、プロンプトが耐性分析および強化のための有望なパラダイムである可能性を示唆している。