[論文レビュー] HotFlip: White-Box Adversarial Examples for NLP

Javid Ebrahimi, Anyi Rao+2 more|arXiv (Cornell University)|Dec 19, 2017

Adversarial Robustness in Machine Learning参考文献 13被引用数 38

ひとこと要約

HotFlipは、ワンホット入力ベクトルの勾配によって誘導される原子的なトークン反転操作を用いて、NLPモデル向けの効率的なホワイトボックス敵対的攻撃手法を提案する。この手法により、最小限の摂動で敵対的例を迅速に生成でき、モデルの精度を著しく低下させる一方で、語彙レベルの分類器における敵対的訓練と意味保持制約をサポートする。

ABSTRACT

We propose an efficient method to generate white-box adversarial examples to trick a character-level neural classifier. We find that only a few manipulations are needed to greatly decrease the accuracy. Our method relies on an atomic flip operation, which swaps one token for another, based on the gradients of the one-hot input vectors. Due to efficiency of our method, we can perform adversarial training which makes the model more robust to attacks at test time. With the use of a few semantics-preserving constraints, we demonstrate that HotFlip can be adapted to attack a word-level classifier as well.

研究の動機と目的

• ニューラル分類器を効果的にだますことができる、NLPモデル向けの効率的なホワイトボックス敵対的例の生成手法を開発すること。
• リアルタイム応用に耐えうる計算効率の高さを実現することで、敵対的訓練を可能にすること。
• 意味を保持する制約を用いることで、語彙レベルの分類器に適応させること。
• 最小限の摂動（主にトークンの入れ替えに限る）でモデルの精度を著しく低下させられることを実証すること。

提案手法

• 本手法は、ワンホット入力ベクトルの勾配に基づいて、1つのトークンを別のトークンに交換する原子的反転操作を用いる。
• 勾配に基づくスコアリングにより、誤分類を最大化する最も効果的なトークンの入れ替えを特定する。
• モデル最適化中にエンドツーエンドの敵対的訓練が可能になるほど、計算効率が高く、実用的である。
• 意味保持制約を適用することで、語彙レベルの分類タスクにおいて、反転後のトークンが文脈的に整合性を保つようにする。
• 本手法は、文字レベルおよび語彙レベルのニューラル分類器の両方へ適用可能である。

実験結果

リサーチクエスチョン

• RQ1 勾配情報を利用することで、NLPモデル向けに効率的に敵対的例を生成する方法は何か？
• RQ2 分類器の性能を著しく低下させるために必要な最小限のトークン反転回数はどれくらいか？
• RQ3 意味を保持する制約を用いることで、語彙レベルのモデルに適応可能な攻撃は可能か？
• RQ4 本手法を用いた敵対的訓練によって、モデルの頑健性はどの程度向上するか？

主な発見

• HotFlip手法は、数回のトークン反転で敵対的例を効果的に生成し、モデルの精度を著しく低下させた。
• 攻撃は計算的に効率的であり、実用的な敵対的訓練を可能にし、モデルの頑健性を向上させた。
• 意味保持制約を用いることで、本手法は語彙レベルの分類器に適応可能である。
• 勾配に基づくトークン反転は、最小限で目に見えない変更でモデルの予測を著しく操作するのに非常に効果的である。