[論文レビュー] Text Processing Like Humans Do: Visually Attacking and Shielding NLP Systems

Steffen Eger, Gözde Gül Şahin+7 more|arXiv (Cornell University)|Mar 27, 2019

Adversarial Robustness in Machine Learning被引用数 49

ひとこと要約

論文は VIPER（視覚的テキスト撹乱器）を紹介し、視覚的文字撹乱が NLP モデルをタスクを横断して著しく低下させることを示し、頑健性を向上させるための保護手法を評価する。人間はこのような撹乱の影響をほとんど受けず、機械と人間のテキスト処理のギャップを浮き彫りにする。

ABSTRACT

Visual modifications to text are often used to obfuscate offensive comments in social media (e.g., "!d10t") or as a writing style ("1337" in "leet speak"), among other scenarios. We consider this as a new type of adversarial attack in NLP, a setting to which humans are very robust, as our experiments with both simple and more difficult visual input perturbations demonstrate. We then investigate the impact of visual adversarial attacks on current NLP systems on character-, word-, and sentence-level tasks, showing that both neural and non-neural models are, in contrast to humans, extremely sensitive to such attacks, suffering performance decreases of up to 82\%. We then explore three shielding methods---visual character embeddings, adversarial training, and rule-based recovery---which substantially improve the robustness of the models. However, the shielding methods still fall behind performances achieved in non-attack scenarios, which demonstrates the difficulty of dealing with visual attacks.

研究の動機と目的

• 現実的な NLP の脅威モデルとして、テキストの視覚的撹乱を動機付け、正式化する。
• 複数のタスク（文字レベル・単語レベル・文レベル）で最先端NLPモデルに対する視覚攻撃の影響を評価する。
• 視覚撹乱に対する頑健性を高めるための防護手法を探る。
• 視覚撹乱下での人間の知覚的頑健性と機械の脆弱性を比較する。

提案手法

• 視覚埋め込み空間で文字を視覚的に類似した隣接文字に置き換える Visual Perturber である VIPER を導入する。
• 視覚的隣人と撹乱の基盤を提供する3つの文字埋め込み空間（ICES、DCES、ECES）を定義する。
• ELMo を SELMo（標準の ELMo）および VELMo（視覚情報を取り入れた ELMo）に拡張し、視覚情報の統合を研究する。
• 撹乱されたテキストの回復性を測定するための人間アノテーション実験を実施する。
• 視覚撹乱と防護手法の下で NLP タスク（G2P、POS タギング、Chunking、Toxic Comment classification）を評価する。
• 敵対的学習、視覚埋め込み、ルールベースの回復による防護を分析し、クリーンなベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 視覚撹乱が文字レベル・単語レベル・文レベルの最先端NLPモデルにどのような影響を与えるか？
• RQ2 人間は視覚的に撹乱されたテキストに対して頑健か、撹乱タイプは回復性にどのような影響を及ぼすか？
• RQ3 防護手法（敵対的訓練、視覚埋め込み、ルールベースの回復）は視覚攻撃に対する頑健性を向上させるか？
• RQ4 攻撃を受けたモデルと人間の間の相対的な性能ギャップはどれくらいで、ドメインのシフトが防護の有効性にどう影響するか？

主な発見

• NLP モデルは VIPER 攻撃の下で顕著な性能低下を経験し、いくつかのタスクでは最大で 82% の低下が見られる。
• 人間は視覚撹乱の影響をほとんど受けないか、わずかに影響を受ける程度で、機械と比較して強い頑健性を示す。
• 敵対的訓練と視覚文字埋め込みは頑健性を大幅に向上させ、AT は CE の利得をしばしば高め、AT+CE の組み合わせは単独よりも優れている。
• ルールベースの回復は特に ECES 撹乱の設定で強力な保護を提供するが、高い撹乱強度では完璧にクリーンデータ水準へ回復する防護は得られない。
• G2P、POS タギング、Chunking は視覚撹乱による影響を Toxic Comment classification よりも大きく受け、文字レベルのタスクが最も影響を受ける。
• DCES の撹乱は ECES より現実的な攻撃としてより難しく、撹乱の種類とタスクによって防護の有効性が異なる。