[論文レビュー] Adv-BERT: BERT is not robust on misspellings! Generating nature adversarial samples on BERT

Lichao Sun, Kazuma Hashimoto+5 more|arXiv (Cornell University)|Feb 27, 2020

Adversarial Robustness in Machine Learning参考文献 22被引用数 80

ひとこと要約

本論文は、自然なキーボードのタイプミスを生成し、それらが感情分析とQAに与える影響を評価することで、BERTの耐性を検討し、タイプミスに対する感度が不均衡であり、タスク依存的な脆さを示していることを明らかにする。

ABSTRACT

There is an increasing amount of literature that claims the brittleness of deep neural networks in dealing with adversarial examples that are created maliciously. It is unclear, however, how the models will perform in realistic scenarios where extit{natural rather than malicious} adversarial instances often exist. This work systematically explores the robustness of BERT, the state-of-the-art Transformer-style model in NLP, in dealing with noisy data, particularly mistakes in typing the keyboard, that occur inadvertently. Intensive experiments on sentiment analysis and question answering benchmarks indicate that: (i) Typos in various words of a sentence do not influence equally. The typos in informative words make severer damages; (ii) Mistype is the most damaging factor, compared with inserting, deleting, etc.; (iii) Humans and machines have different focuses on recognizing adversarial attacks.

研究の動機と目的

• 現実的な入力シナリオにおける自然でキーボード由来のタイプミスに対するBERTの頑健性を評価する。
• どの語タイプとどのタイプミス操作がBERTの性能を最も低下させるかを特定する。
• 感情分析とQAのタスク間でモデルの感度を人間読者と比較し、タスク間での違いを評価する。
• 部分語トークン化と単語セグメンテーションが頑健性に与える影響を評価する。
• タイプミスに対してより信頼できるNLPシステムを構築するための洞察を提供する。

提案手法

• キーボード文字分布に制約された自然な対向サンプルを生成する。
• 勾配情報を用いて情報量のある語（max-grad）、情報量の少ない語（min-grad）、またはランダム語をタイプミスのターゲットとして選択する。
• 挿入、削除、入れ替え、誤入力、発音、置換-Wの6種類のタイプのタイプミスを検討する。
• 1文あたりの最大タイプミスをKに制限し、モデルの予測を反転させるタイプミスを反復的に探索する。
• BERTのWordPieceスキームで入力をトークナイズし、感情分析とQAタスクへの影響を分析する。
• GloVeと文字n-gram埋め込みを用いたRNNベースラインと比較し、頑健性における文字情報の役割を評価する。

実験結果

リサーチクエスチョン

• RQ1 現実のテキスト入力におけるキーボード由来のタイプミスに対して、BERTはどれだけ頑健か。
• RQ2 どの語（情報量のあるもの vs 情報量の少ないもの）とどのタイプのタイプミスがBERTの予測に最も影響を与えるか。
• RQ3 感情分析と質問応答タスクの間で頑健性はどのように異なるか。
• RQ4 部分語セグメンテーションは綴りの乱れへの脆弱性にどの程度影響するか。
• RQ5 人間の読みやすさ/理解度は、タイプミス下で機械の頑健性とどう比較されるか。

主な発見

• 情報量のある語に対するタイプミスは最大の精度低下を引き起こし、1つのタイプミスが性能を大きく低下させることがある。
• 誤入力は検証されたタイプミスの中で最も傷つきやすいタイプであり、挿入は部分語トークン化のため一般的に影響が少ない。
• BERTのタイプミスに対する注意は不均衡で、情報量のある語が頻繁で情報量の少ない語よりも多くの変化を生み出す。
• QA（SQuAD）は感情分析よりタイポに脆弱であり、タスク依存的な頑健性を示す。
• 人間は情報量の少ない語のタイプミスをより容易に検出するが、モデルは情報量のある語により焦点を当てる。
• 部分語セグメンテーションは頑健性の差に寄与する；文字情報を用いるモデルは、ある設定でBERTよりも堅牢性を示す。