[논문 리뷰] Fooling OCR Systems with Adversarial Text Images

Congzheng Song, Vitaly Shmatikov|arXiv (Cornell University)|2018. 02. 15.

Adversarial Robustness in Machine Learning참고 문헌 50인용 수 36

한 줄 요약

이 논문은 딥러닝 기반 OCR 시스템, 특히 Tesseract가 인쇄된 텍스트 이미지를 미세하게 수정함으로써 원래 단어의 의미적 반대어로 잘못 인식하도록 만들 수 있는 적대적 공격에 취약하다는 것을 보여준다. 특정 단어에 대해 작은 국소적 노이즈를 적용함으로써, 공격은 OCR 출력을 원래 단어의 반대어로 바꾸며 문서의 의미를 완전히 뒤바꾸지만, 인간에게는 시각적으로 구분되지 않으며, 물리적 문서 스캔 후에도 효과를 유지한다.

ABSTRACT

We demonstrate that state-of-the-art optical character recognition (OCR) based on deep learning is vulnerable to adversarial images. Minor modifications to images of printed text, which do not change the meaning of the text to a human reader, cause the OCR system to "recognize" a different text where certain words chosen by the adversary are replaced by their semantic opposites. This completely changes the meaning of the output produced by the OCR system and by the NLP applications that use OCR for preprocessing their inputs.

연구 동기 및 목표

• 딥러닝 기반 OCR 시스템이 시각적 외관을 변경하지 않으면서도 의미적 의미를 뒤바꾸는 적대적 예제에 취약한가를 조사하는 것.
• 최소한의 국소적 이미지 노이즈를 사용해 특정 단어를 의미적으로 반대어로 잘못 인식하도록 유도하는 타겟 공격을 개발하는 것.
• 이러한 적대적 OCR 출력이 문서 분류 및 감성 분석과 같은 후속 NLP 응용 프로그램에 미치는 영향을 평가하는 것.
• 적대적 텍스트 이미지의 물리적 실현 가능성 탐구: 스캔 및 인쇄 과정을 거쳐도 노이즈가 유지되는가를 테스트하는 것.
• 다른 OCR 모델 간의 적대적 예제 이동성 탐색: 특히 현대적인 딥러닝 기반 OCR과 구형 문자 기반 OCR 간의 이동성

제안 방법

• 공격은 Tesseract OCR을 대상으로 하며, 타겟 단어의 이미지에 기울기 기반 최적화 방법을 사용해 적대적 노이즈를 생성함으로써, 목표 단어와 OCR 출력 간의 차이를 최소화한다.
• 노이즈는 타겟 단어에 해당하는 이미지의 작은 부분에 국한되며, 인간 관찰자에게 시각적 변화를 최소화한다.
• 공격은 언어 지식을 활용하여 외관은 유사하지만 의미는 반대되는 단어 쌍(예: 'yes' 대 'no')을 선택함으로써 의미적 영향을 극대화한다.
• 공격은 키워드(날짜, 숫자, 주소 등)를 수정하고 특정 단어를 반대어로 교체함으로써 전체 문서로 확장된다.
• 적대적 이미지는 물리적 인쇄와 재스캔 후 테스트되어 실제 적용 가능성과 이미지 열화에 대한 강건성을 평가한다.
• 후속 NLP 모델에 대한 영향 평가를 위해, 적대적으로 수정된 OCR 출력을 문서 분류 및 감성 분석 모델에 입력한다.

실험 결과

연구 질문

• RQ1 적대적 노이즈를 조정하여 OCR 시스템이 인간에게 시각적으로 유사하게 보이지만 의미적으로 반대어로 잘못 인식하도록 만들 수 있는가?
• RQ2 OCR 처리 후 이러한 적대적 예제가 전체 문서의 의미를 얼마나 효과적으로 변화시키는가?
• RQ3 적대적 OCR 출력이 문서 분류 및 감성 분석과 같은 후속 NLP 응용 프로그램의 성능에 얼마나 심각하게 악영향을 미치는가?
• RQ4 적대적 노이즈는 물리적으로 실현 가능한가? 즉, 인쇄 및 스캔 과정을 거쳐도 OCR 시스템이 이를 거부하지 않고 유지되는가?
• RQ5 공격이 다양한 OCR 모델 간에 이동 가능한가? 특히 현대적인 딥러닝 기반 OCR과 구형 문자 기반 OCR 간의 이동성은 어떻게 되는가?

주요 결과

• 공격은 인간에게 시각적으로 구분되지 않는 최소한의 국소적 노이즈를 사용해 Tesseract가 타겟 단어를 의미적으로 반대어로 잘못 인식하도록 성공적으로 유도한다.
• 적대적 노이즈는 매우 작은 비트의 픽셀에만 영향을 미치며, 이미지의 작은 부분에 국한되어 시각적 정밀도를 유지한다.
• 적대적 이미지가 종이에 인쇄된 후 재스캔된 후에도 공격이 효과를 유지함으로써, 특정 경우에 대해 물리적 실현 가능성을 입증한다.
• NLP 모델에 공격적으로 수정된 OCR 출력을 입력하면, 고도로 신뢰할 수 있는 예측을 내보내며 NLP 모델의 출력 클래스를 완전히 제어할 수 있다.
• 공격을 통해 감성 분석 모델에 적대적 훈련 예제를 삽입함으로써, 시간이 지남에 따라 모델 성능이 저하될 수 있다.
• 적대적 예제는 구형 Tesseract 버전으로는 이동되지 않으며, 이는 딥러닝 기반 OCR과 문자 기반 OCR 간의 아키텍처 및 취약성의 근본적 차이를 시사한다.