[論文レビュー] OCR-free Document Understanding Transformer

Geewook Kim, Teakgyu Hong+8 more|arXiv (Cornell University)|Nov 30, 2021

Handwritten Text Recognition Techniques被引用数 5

ひとこと要約

本論文では、ドキュメント画像を構造化出力に直接マッピングするトランスフォーマー・アーキテクチャに基づく、OCRフリーのエンド・ツー・エンド型視覚的ドキュメント理解（VDU）モデル、Donutを提案する。合成データを用いたシンプルなクロスエントロピー目的関数によるテキスト予測による事前学習により、OCRに依存せず、複数のVDUタスクにおいて最先端の精度と速度を達成するとともに、多言語への一般化を可能にする。

ABSTRACT

Understanding document images (e.g., invoices) is a core but challenging task since it requires complex functions such as reading text and a holistic understanding of the document. Current Visual Document Understanding (VDU) methods outsource the task of reading text to off-the-shelf Optical Character Recognition (OCR) engines and focus on the understanding task with the OCR outputs. Although such OCR-based approaches have shown promising performance, they suffer from 1) high computational costs for using OCR; 2) inflexibility of OCR models on languages or types of document; 3) OCR error propagation to the subsequent process. To address these issues, in this paper, we introduce a novel OCR-free VDU model named Donut, which stands for Document understanding transformer. As the first step in OCR-free VDU research, we propose a simple architecture (i.e., Transformer) with a pre-training objective (i.e., cross-entropy loss). Donut is conceptually simple yet effective. Through extensive experiments and analyses, we show a simple OCR-free VDU model, Donut, achieves state-of-the-art performances on various VDU tasks in terms of both speed and accuracy. In addition, we offer a synthetic data generator that helps the model pre-training to be flexible in various languages and domains. The code, trained model and synthetic data are available at https://github.com/clovaai/donut.

研究の動機と目的

• OCR依存のVDUパイプラインに内在する高い計算コスト、不柔軟性、誤差伝搬の問題を解決すること。
• OCRを回避するエンド・ツー・エンドのドキュメント理解モデルを構築し、生画像を構造化出力に直接マッピングする学習を可能にすること。
• 合成データ生成と事前学習を活用して、多言語およびドメインに柔軟なドキュメント理解を実現すること。
• シンプルなトランスフォーマー・アーキテクチャと最小限の事前学習目的関数を用いることで、複雑なOCRベースのパイプラインを速度および精度の面で上回ることを実証すること。

提案手法

• 生ドキュメント画像を入力とし、直接構造化出力（例：JSON）を生成する視覚・言語トランスフォーマー・モデル、Donutを提案する。
• 画像特徴と以前のテキストトークンを条件として、次トークン予測に基づく事前学習目的を採用し、OCRを用いずにテキスト読み取りを学習する。
• 合成ドキュメント画像生成器、SynthDoGを活用して、事前学習用に多様で多言語対応の訓練データを生成する。
• 事前学習と微調整のパラダイムを採用：合成データで事前学習し、その後、下流のVDUタスクで微調整する。
• 予測されたテキスト系列と正解テキスト系列の間のクロスエントロピー損失を用いて、モデルをエンド・ツー・エンドで訓練する。
• 複数の言語およびドキュメントタイプで合成データを用いた事前学習により、ドメインおよび言語一般化を実現する。

実験結果

リサーチクエスチョン

• RQ1 シンプルでエンド・ツー・エンドのトランスフォーマー・アーキテクチャが、OCRに依存せず、VDUで最先端のパフォーマンスを達成できるか？
• RQ2 低リソース環境下で、OCRフリーのモデルは、OCRベースのベースラインと比べて、速度、精度、耐性の面でどのように差をつけるか？
• RQ3 SynthDoGが生成する合成データは、実世界のラベル付きデータが存在しない状況でも、多言語およびドメイン一般化可能なVDUをどの程度可能にするか？
• RQ4 シンプルなテキスト予測目的での事前学習は、強力な包括的ドキュメント理解能力を学習可能にするか？

主な発見

• DonutはCORD、FUNSD、SROIEなど複数のVDUベンチマークで最先端のパフォーマンスを達成し、精度および推論速度の両面でOCRベースのモデルを上回った。
• CORDデータセットにおいて、80件（10％）の訓練データでのドキュメント解析で95.4％のF1スコアを達成し、低リソース条件下でLayoutLMv2を上回った。
• 低解像度入力に対しても頑健であることが示され、最小限の訓練データで2560×1920解像度でも強力なパフォーマンスを維持した。
• SynthDoGは、合成データを用いた効果的な事前学習を可能にし、OCRコンponentの再訓練なしに言語およびドメインをまたがる一般化を実現した。
• 別個のOCR推論の必要性を排除することで計算コストを削減し、OCRベースのパイプラインよりも高速なエンド・ツー・エンド推論を達成した。
• アブレーションスタディにより、テキスト予測に焦点を当てた事前学習目的が、テキスト読み取りおよび包括的ドキュメント理解の両方を学習するのに十分であることが確認された。