[論文レビュー] Token-Modification Adversarial Attacks for Natural Language Processing: A Survey

Tom Roth, Yansong Gao+3 more|arXiv (Cornell University)|Mar 1, 2021

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本調査では、自然言語処理におけるトークン変更型 adversarial 攻撃を分析するためのコンponent中心のフレームワークを提示する。このフレームワークは、目的関数、変換、探索手法、制約の4つのコアコンponentに従って、攻撃を体系的に分類する。一貫性のある、攻撃に依存しない分類法を提供することで、より良い比較、再現可能性、および標的化された研究を可能にする。一方で、標準化の欠如やマルチモーダルまたはフレーズレベルの攻撃の探求が限定的であるといった、主な課題も特定している。

ABSTRACT

Many adversarial attacks target natural language processing systems, most of which succeed through modifying the individual tokens of a document. Despite the apparent uniqueness of each of these attacks, fundamentally they are simply a distinct configuration of four components: a goal function, allowable transformations, a search method, and constraints. In this survey, we systematically present the different components used throughout the literature, using an attack-independent framework which allows for easy comparison and categorisation of components. Our work aims to serve as a comprehensive guide for newcomers to the field and to spark targeted research into refining the individual attack components.

研究の動機と目的

• 自然言語処理における adversarial 攻撃手法の間で標準化された比較がなされていない問題に対処するため、コンponent中心のフレームワークを導入すること。
• タスクや目的に依存する表面的な分類を超えて、トークン変更型攻撃の体系的分類を実現すること。
• 標準化されていない脅威モデルや自動化されたメトリクスへの過剰依存といった、現在の研究における主な制限要因を特定すること。
• マルチモーダル攻撃やフレーズレベルの変更といった未だ探査が少ない分野を強調することで、今後の研究を導くこと。
• 現実性と質の高い adversarial 例を得るため、人間を含めた評価手法の推進を提唱すること。

提案手法

• 本稿では、目的関数、許容可能な変換、探索手法、制約の4つのコンponentからなるフレームワークを提案する。各攻撃を制約付き探索問題として扱う。
• 既存の攻撃をこれらの4つのコンponentに分解することで、体系的な調査を実施し、攻撃間の比較と分類を可能にする。
• このフレームワークを、テキスト分類、機械翻訳、センチメント分析などのさまざまな自然言語処理タスクにおけるトークン変更型攻撃の分析に適用する。
• 著者らは、このフレームワークを用いて攻撃設計におけるパターンと相違点を同定し、多くの攻撃が外見上は異なるものの、実際には1つのコンponentのみが異なることが明らかになった。
• 評価手法の批判的レビューを含み、自動メトリクスの欠陥を指摘するとともに、人間のフィードバックや RLHF ベースの報酬モデルの活用を提唱する。
• このアプローチにより、複数トークンのフレーズレベルの変更やマルチモーダルな adversarial 例といった、未だ探査が少ない攻撃タイプの同定が可能になった。

Figure 1: Example of a token-modification adversarial attack on a machine translation model.

実験結果

リサーチクエスチョン

• RQ1 自然言語処理における adversarial 攻撃は、タスク固有または目的固有の分類を超えて、どのように体系的に分類できるか？
• RQ2 トークン変更型 adversarial 攻撃を定義づけるコアコンponentは何か。また、それらは既存の手法においてどのように変化しているか？
• RQ3 現在の評価メトリクスがなぜ人間の判断と一致しないのか。また、その改善にはどうすればよいか？
• RQ4 現段階の adversarial 攻撃研究における主な制限要因は何か。特に、実世界への適用可能性と標準化の観点から。
• RQ5 フレーズレベルやマルチモーダルな adversarial 攻撃は、どのように開発・評価すればよいか。攻撃の多様性と現実性を向上させるには？

主な発見

• コンponent中心のフレームワークにより、攻撃の分析がより洗練され、比較可能になることが明らかになった。多くの攻撃は外見上は異なるが、実際には1つのコンponentのみが異なることが判明した。
• 多くの既存の攻撃は単一トークンの変更に依存しており、これにより生成可能な adversarial 例の範囲が制限され、現実性が低下している。
• 現在の評価手法は、流暢さや意味的類似度といった自動メトリクスに強く依存しており、これらは人間の判断としばしば相関が薄い。
• 研究間で脅威モデル、変換、制約の標準化が著しく欠落しており、再現性や研究間比較を妨げている。
• イディオムやフレーズを置き換えるようなフレーズレベルの攻撃は未だ探査が少ないが、単一トークンの変更よりも柔軟性と現実性に優れている。
• RLHF やインタラクティブインターフェースによる人間のフィードバックを組み込むことで、adversarial 例の質と妥当性を著しく向上できる。

Figure 2: This example, from the TextAttack [ 5 ] documentation, neatly demonstrates how token-modification attacks ( [ 6 ] and [ 7 ] here) are made up of a combination of four components. For an easy comparison, the TextAttack paper [ 5 ] also provides a table that summarises the combinations of a