[논문 리뷰] OCR-free Document Understanding Transformer

Geewook Kim, Teakgyu Hong외 8명|arXiv (Cornell University)|2021. 11. 30.

Handwritten Text Recognition Techniques인용 수 5

한 줄 요약

이 논문은 원시 이미지에서 구조화된 출력(예: JSON)으로 직접 매핑하는 Transformer 아키텍처 기반의 엔드 투 엔드 OCR-프리 시각 문서 이해(VDU) 모델인 Donut을 제안한다. 간단한 교차 엔트로피 목적함수를 사용해 합성 데이터로 사전 훈련함으로써, OCR에 의존하지 않고도 여러 VDU 작업에서 최신 기술 수준의 정확도와 속도를 달성하며, 다국어 일반화도 가능하다.

ABSTRACT

Understanding document images (e.g., invoices) is a core but challenging task since it requires complex functions such as reading text and a holistic understanding of the document. Current Visual Document Understanding (VDU) methods outsource the task of reading text to off-the-shelf Optical Character Recognition (OCR) engines and focus on the understanding task with the OCR outputs. Although such OCR-based approaches have shown promising performance, they suffer from 1) high computational costs for using OCR; 2) inflexibility of OCR models on languages or types of document; 3) OCR error propagation to the subsequent process. To address these issues, in this paper, we introduce a novel OCR-free VDU model named Donut, which stands for Document understanding transformer. As the first step in OCR-free VDU research, we propose a simple architecture (i.e., Transformer) with a pre-training objective (i.e., cross-entropy loss). Donut is conceptually simple yet effective. Through extensive experiments and analyses, we show a simple OCR-free VDU model, Donut, achieves state-of-the-art performances on various VDU tasks in terms of both speed and accuracy. In addition, we offer a synthetic data generator that helps the model pre-training to be flexible in various languages and domains. The code, trained model and synthetic data are available at https://github.com/clovaai/donut.

연구 동기 및 목표

• OCR에 의존하는 VDU 파이프라인에 내재된 높은 계산 비용, 유연성 부족, 오류 전파 문제를 해결하기 위해.
• 원시 이미지를 직접 구조화된 출력으로 매핑하는 엔드 투 엔드 문서 이해 모델을 개발하여 OCR를 우회하기 위해.
• 합성 데이터 생성 및 사전 훈련을 통해 다국어 및 도메인 유연성 있는 문서 이해를 가능하게 하기 위해.
• 간단한 트랜스포머 기반 아키텍처와 최소한의 사전 훈련 목적함수로도 복잡한 OCR 기반 파이프라인보다 빠르고 정확한 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 원시 문서 이미지를 입력으로 받아 구조화된 출력(예: JSON)을 직접 생성하는 비전-언어 트랜스포머 모델인 Donut을 제안한다.
• 이미지 특징과 이전 텍스트 토큰을 조건으로 삼아 다음 토큰 예측 기반의 사전 훈련 목적함수를 사용하여 OCR 없이도 텍스트 읽기 능력을 학습한다.
• 합성 문서 이미지 생성기인 SynthDoG를 활용해 사전 훈련을 위한 다양한 다국어 훈련 데이터를 생성한다.
• 사전 훈련 및 미세조정 파라다임을 채택: 합성 데이터로 텍스트 이해를 사전 훈련한 후, 최종 VDU 작업에 대해 미세조정한다.
• 예측된 텍스트 시퀀스와 진짜 텍스트 시퀀스 간의 교차 엔트로피 손실을 사용해 모델을 엔드 투 엔드로 훈련한다.
• 다양한 언어와 문서 유형에 걸쳐 합성 데이터로 사전 훈련함으로써 도메인 및 언어 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 간단한 엔드 투 엔드 트랜스포머 기반 모델이 OCR에 의존하지 않고도 VDU에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 저자원 환경에서 OCR 기반 기준 모델과 비교해 OCR-프리 모델의 성능은 속도, 정확도, 내성 면에서 어떻게 다른가?
• RQ3 SynthDoG가 생성한 합성 데이터로 실제 레이블이 없는 환경에서도 다국어 및 도메인 일반화 가능한 VDU를 얼마나 효과적으로 가능하게 하는가?
• RQ4 간단한 텍스트 예측 목적함수로 사전 훈련하면 강력한 통합 문서 이해 능력이 유도되는가?

주요 결과

• Donut은 CORD, FUNSD, SROIE 등 여러 VDU 벤치마크에서 최신 기술 수준의 성능을 달성하며, 정확도와 추론 속도 모두 OCR 기반 모델을 능가한다.
• CORD 데이터셋에서 Donut은 훈련 데이터의 10%(80개 샘플)만으로도 문서 파싱 작업에서 F1 스코어 95.4%를 기록했으며, 저자원 조건에서 LayoutLMv2를 능가했다.
• 저해상도 입력에 대해서도 강건한 성능을 유지하며, 훈련 데이터가 극히 적은 상황에서도 2560×1920 해상도에서 우수한 성능을 보였다.
• SynthDoG를 통해 합성 데이터로 효과적인 사전 훈련이 가능해져, OCR 컴포넌트를 재학습하지 않고도 다양한 언어와 도메인으로 일반화할 수 있었다.
• 별도의 OCR 추론이 필요 없어져 계산 비용을 줄였으며, OCR 기반 파이프라인보다 더 빠른 엔드 투 엔드 추론 속도를 달성했다.
• 제거 실험 결과, 텍스트 예측에 초점을 맞춘 사전 훈련 목적함수가 텍스트 읽기와 통합 문서 이해 능력을 모두 학습하는 데 충분함을 확인했다.