[論文レビュー] Evaluating the Susceptibility of Pre-Trained Language Models via Handcrafted Adversarial Examples

Hezekiah J. Branch, Jonathan Rodriguez Cefalù+6 more|arXiv (Cornell University)|Sep 5, 2022

Adversarial Robustness in Machine Learning被引用数 13

ひとこと要約

この論文は、文脈的誤分類を引き起こすがトークンレベルの摂動が小さい手作業で作られた adversarial 例に対して事前学習済み言語モデル（PLM）がどれほど脆弱であるかを評価している。標準的な距離指標や n-gram 指標が顕著な意味的不一致を検出できないことが示され、GPT-3 や BERT ファミリーのモデルが微調整前の段階で深刻な脆弱性を抱えていることが明らかになった。

ABSTRACT

Recent advances in the development of large language models have resulted in public access to state-of-the-art pre-trained language models (PLMs), including Generative Pre-trained Transformer 3 (GPT-3) and Bidirectional Encoder Representations from Transformers (BERT). However, evaluations of PLMs, in practice, have shown their susceptibility to adversarial attacks during the training and fine-tuning stages of development. Such attacks can result in erroneous outputs, model-generated hate speech, and the exposure of users' sensitive information. While existing research has focused on adversarial attacks during either the training or the fine-tuning of PLMs, there is a deficit of information on attacks made between these two development phases. In this work, we highlight a major security vulnerability in the public release of GPT-3 and further investigate this vulnerability in other state-of-the-art PLMs. We restrict our work to pre-trained models that have not undergone fine-tuning. Further, we underscore token distance-minimized perturbations as an effective adversarial approach, bypassing both supervised and unsupervised quality measures. Following this approach, we observe a significant decrease in text classification quality when evaluating for semantic similarity.

研究の動機と目的

• 微調整前の段階における事前学習済み言語モデル（PLM）の、手作業で作られた adversarial 例に対する耐性を調査すること。
• GPT-3 の公開版、特に GPT-3 Playground に存在する脆弱性を露呈させることで、最小限の入力摂動で意味的誤分類が可能であることを示すこと。
• 標準的な距離指標や n-gram 指標（例：BLEU、BERTScore）が、モデル出力における意味的差を検出できないことの評価を行うこと。
• トークンレベルの摂動が分類結果を劇的に変える一方で、一般的な品質評価指標では検出されないことを実証すること。
• モデル評価において意味的レベルの摂動を考慮に入れた adversarial 訓練および微調整アプローチの導入を提言すること。

提案手法

• 著者らは、表面的なトークン列の変化を最小限に抑えつつ意味的意味を変えるように、意図的で手作業によるトークンレベルの摂動を用いて adversarial 例を構築した。
• Levenshtein、Sørensen-Dice、Jaccard、コサイン距離などの複数の距離指標を用いてモデル性能を評価した。これらはトークンレベルおよびシーケンスレベルで計算された。
• テキスト生成品質と自然入力と adversarial 入力の類似性を評価するために、BERTScore（適合率、再現率、F1）および BLEU-1/BLEU-4 を採用した。
• モデル出力をゴールスタンダードのラベルと比較することで、adversarial 条件下での分類品質を測定した。
• 分析には、BERT、RoBERTa、ALBERT モデルを対象としたゼロショットのマスキング言語モデル化および分類タスクが含まれる。
• 意味的不一致を確認するために、人間による検証を実施し、adversarial 例が意味的に明確に異なることを保証した。

実験結果

リサーチクエスチョン

• RQ1 手作業で作られた adversarial 例は、GPT-3 や BERT などの事前学習済み言語モデルに対して、標準メトリクスによる検出を回避しながら意味的誤分類を引き起こすことができるか？
• RQ2 BLEU や BERTScore などの一般的なテキスト品質メトリクスは、最小限のトークンレベル摂動によって生じる顕著な意味的差をどれほど検出できないのか？
• RQ3 Levenshtein や Jaccard などの距離ベースのメトリクスは、トークンレベルおよびシーケンスレベルで自然入力と adversarial 入力の意味的乖離をどれほど適切に捉えられるか？
• RQ4 モデル出力に顕著な意味的差異があるにもかかわらず、複数のモデルで中央値距離スコアがほぼゼロのまま維持されるのはなぜか？
• RQ5 これらの発見は、モデルの解釈可能性、公平性、および現在の評価ベンチマークの信頼性にどのような影響を及えるのか？

主な発見

• adversarial と自然入力間の中央値 Levenshtein、Sørensen-Dice、Jaccard、コサイン距離スコアはほぼゼロ（例：BERT ではコサイン距離が 0.010411）であり、シーケンスレベルでの検出可能な変化がほとんどないこと示された。
• 顕著な意味的差異にもかかわらず、BERTScore F1 値は高い水準を維持した（例：BERT で 0.6855、RoBERTa で 0.9061）ため、類似度評価において顕著な偽陽性が生じていることが示唆された。
• BLEU-1 および BLEU-4 スコアは全モデルで 0.98 を超えて維持され、n-gram メトリクスが意味的劣化を検出できないことが明らかになった。
• トークンレベルの距離指標はシーケンスレベルの指標よりも顕著に高い値を示しており、意味的乖離がトークンレベルではより検出されやすいことが明らかになった。
• ALBERT は最も高い正規化距離スコア（例：Levenshtein で 0.6210）を示したが、シーケンスレベルでは依然として中央値スコアがほぼゼロであり、意味的差を捉えられなかった。
• 結果として、現在の標準メトリクスでは、意味的意味を劇的に変える adversarial 摂動を検出できないことが示され、モデル評価における深刻な欠陥が露呈された。