[论文解读] Fooling OCR Systems with Adversarial Text Images

Congzheng Song, Vitaly Shmatikov|arXiv (Cornell University)|Feb 15, 2018

Adversarial Robustness in Machine Learning参考文献 50被引用 36

一句话总结

本文展示了基于深度学习的OCR系统（特别是Tesseract）容易受到对抗性攻击，攻击通过细微修改印刷文本图像，使系统输出原词的语义相反词。通过在特定词语上施加微小且局部的扰动，攻击可使OCR系统将词语误识别为其中的反义词，从而完全改变文档的语义，同时对人类观察者保持视觉上不可察觉，并且在物理文档扫描后依然有效。

ABSTRACT

We demonstrate that state-of-the-art optical character recognition (OCR) based on deep learning is vulnerable to adversarial images. Minor modifications to images of printed text, which do not change the meaning of the text to a human reader, cause the OCR system to "recognize" a different text where certain words chosen by the adversary are replaced by their semantic opposites. This completely changes the meaning of the output produced by the OCR system and by the NLP applications that use OCR for preprocessing their inputs.

研究动机与目标

• 研究基于深度学习的OCR系统对对抗性样本的脆弱性，这些样本在不改变视觉外观的情况下改变语义含义。
• 开发一种针对性攻击，通过最小且局部的图像扰动，使OCR系统将特定词语误识别为其语义相反词。
• 评估此类对抗性OCR输出对下游NLP应用的影响，包括文档分类和情感分析。
• 探索对抗性文本图像的物理可实现性，测试扰动在打印和扫描过程后是否仍能保持有效。
• 研究对抗性样本在不同OCR模型之间的可迁移性，特别是现代与旧版Tesseract之间的迁移能力。

提出的方法

• 通过基于梯度的优化方法，在单个词语上生成对抗性扰动，以最小化目标词与OCR输出之间的差异，从而针对Tesseract OCR实施攻击。
• 将扰动限制在对应目标词语的小区域图像内，确保对人类观察者造成的视觉变化极小。
• 利用语言学知识，选择在视觉上相似但语义相反的词对（如“yes”与“no”），以最大化语义影响。
• 通过修改关键数据元素（如日期、数字、地址）并将选定词语替换为其反义词，将攻击扩展至整份文档。
• 在物理打印并重新扫描后测试对抗性图像，以评估其在现实场景中的可行性及对图像退化的鲁棒性。
• 通过将对抗性修改后的OCR输出输入文档分类和情感分析等下游NLP模型，评估其影响。

实验结果

研究问题

• RQ1 能否构造出对抗性扰动，使OCR系统将词语误识别为其语义相反词，同时保持与人类观察者视觉上的相似性？
• RQ2 这些对抗性样本在OCR处理后，对整个文档语义改变的有效性如何？
• RQ3 对抗性OCR输出在多大程度上会降低或操纵下游NLP应用（如文档分类和情感分析）的性能？
• RQ4 对抗性扰动是否具有物理可实现性——即在打印和扫描后是否仍能被OCR系统识别而不被拒绝？
• RQ5 该攻击是否可在不同OCR模型之间迁移，特别是从现代基于深度学习的OCR系统迁移到旧版基于字符的OCR系统？

主要发现

• 该攻击成功使Tesseract将目标词语误识别为其语义相反词，且仅使用极小、局部的扰动，对人类观察者完全不可察觉。
• 对抗性扰动仅影响极少数像素，且局限于图像的微小子区域，从而保持了视觉保真度。
• 即使对抗性图像被打印在纸上并重新扫描，攻击仍有效，证明了其在特定情况下的物理可实现性。
• 当将对抗性修改后的OCR输出输入NLP模型时，会导致高置信度的错误预测，从而实现对NLP模型输出类别的完全控制。
• 该攻击可通过引入对抗性训练样本污染情感分析模型，随时间推移逐渐降低模型性能。
• 对抗性样本无法迁移到旧版Tesseract上，表明基于深度学习的OCR与基于字符的OCR系统在架构和脆弱性方面存在根本性差异。