[論文レビュー] Fooling OCR Systems with Adversarial Text Images

Congzheng Song, Vitaly Shmatikov|arXiv (Cornell University)|Feb 15, 2018

Adversarial Robustness in Machine Learning参考文献 50被引用数 36

ひとこと要約

この論文は、Tesseract を含むディープラーニングベースのOCRシステムが、印刷されたテキスト画像に対して微細な摂動を加えることで、元の単語の意味的逆転を出力させることで攻撃可能であることを示している。特定の単語に対して局所的で小さな摂動を加えることで、OCR出力が元の単語の対義語に誤認識され、文書の意味が完全に変化するが、人間には視覚的に認識できない。この攻撃は物理的な文書のスキャン後にも有効である。

ABSTRACT

We demonstrate that state-of-the-art optical character recognition (OCR) based on deep learning is vulnerable to adversarial images. Minor modifications to images of printed text, which do not change the meaning of the text to a human reader, cause the OCR system to "recognize" a different text where certain words chosen by the adversary are replaced by their semantic opposites. This completely changes the meaning of the output produced by the OCR system and by the NLP applications that use OCR for preprocessing their inputs.

研究の動機と目的

• 視認性に変化がないまま意味的意味を変更する adversarial examples がディープラーニングベースのOCRシステムに与える脆弱性を調査すること。
• 最小限で局所的な画像摂動を用いて、OCRシステムが特定の単語をその意味的逆転として誤認識するように標的攻撃を構築すること。
• このような adversarial OCR 出力が、ドキュメント分類やセンチメント分析を含む下流のNLPアプリケーションに与える影響を評価すること。
• adversarial テキスト画像の物理的実現可能性を検討し、印刷およびスキャン処理を経ても摂動が保持されるかをテストすること。
• 異なるOCRモデル間での adversarial examples の転送性を調査し、特に最新のディープラーニングベースのOCRとレガシーバージョンのTesseractとの間の差異を明らかにすること。

提案手法

• 攻撃は、ターゲット単語とOCR出力との差を最小化する勾配ベースの最適化手法を用いて、個々の単語に adversarial 摂動を生成することでTesseract OCRを標的にする。
• 摂動はターゲット単語に対応する画像の小さな部分領域に制限され、人間の観察者にとっての視覚的変化を最小限に抑える。
• 言語的知識を活用し、視覚的に類似しているが意味的に逆転する単語ペア（例：'yes' と 'no'）を選択することで、意味的影響を最大化する。
• 攻撃を文書全体に拡張するため、日付、数字、住所などの重要なデータ要素を変更し、選択された単語をその対義語に置き換える。
• adversarial 画像を物理的に印刷し、再スキャンした後も有効であるかをテストすることで、現実世界での実現可能性と画像劣化に対する耐性を評価する。
• 下流のNLPモデルへの影響を評価するため、adversarially 変更されたOCR出力をドキュメント分類およびセンチメント分析用のモデルに供給する。

実験結果

リサーチクエスチョン

• RQ1 視認性に変化がないまま、OCRシステムが単語をその意味的逆転として誤認識させるような adversarial 摂動を設計可能か？
• RQ2 OCR処理後に、adversarial な摂動が文書全体の意味をどれほど効果的に変更できるか？
• RQ3 adversarial OCR 出力が、ドキュメント分類やセンチメント分析などの下流NLPアプリケーションの性能に、どの程度劣化または操作されるか？
• RQ4 adversarial 摂動は物理的に実現可能か？印刷およびスキャン処理を経てもOCRシステムによって拒否されないか？
• RQ5 攻撃は異なるOCRモデル間で転送可能か？特に最新のディープラーニングベースOCRとレガシーな文字ベースOCRシステムとの間で。

主な発見

• 攻撃は、人間には認識できない微小で局所的な摂動を用いて、Tesseract がターゲット単語をその意味的逆転として誤認識させることに成功した。
• adversarial 摂動は極めて小さなピクセル数に限定され、画像の小さな部分領域に集中しており、視覚的忠実度を保持している。
• adversarial 画像が紙に印刷され再スキャンされた後でも攻撃が有効であることが確認され、特定の状況では物理的実現可能性が裏付けられた。
• NLPモデルに adversarially 変更されたOCR出力を供給すると、高信頼度で誤った予測が行われ、NLPモデルの出力クラスを完全に制御可能である。
• adversarial 訓練例を導入することで、センチメント分析モデルが汚染され、時間経過とともにモデル性能が劣化する。
• adversarial 例はレガシー版Tesseractに転送されないため、ディープラーニングベースのOCRと文字ベースOCRシステムの間には、アーキテクチャ的および脆弱性的側面で根本的な差異があることが示された。