[論文レビュー] Text Detection Forgot About Document OCR

Krzysztof Olejniczak, Milan Šulc|arXiv (Cornell University)|Oct 14, 2022

Handwritten Text Recognition Techniques被引用数 5

ひとこと要約

この論文は、複雑なシーンを想定して開発された最新の屋外テキスト検出モデルが、構造化ドキュメントデータセット上での性能を評価しており、Google Document AI や AWS Textract などの商用OCRシステムよりも優れた検出性能（F1 > 96%）を達成していることを示している。事前学習済みのCRNN認識モデルと組み合わせることで、エンドツーエンドのF1スコアが90%を超える結果が得られ、モデルの高い汎化性とドキュメントOCRパイプラインの改善可能性が裏付けられている。

ABSTRACT

Detection and recognition of text from scans and other images, commonly denoted as Optical Character Recognition (OCR), is a widely used form of automated document processing with a number of methods available. Yet OCR systems still do not achieve 100% accuracy, requiring human corrections in applications where correct readout is essential. Advances in machine learning enabled even more challenging scenarios of text detection and recognition "in-the-wild" - such as detecting text on objects from photographs of complex scenes. While the state-of-the-art methods for in-the-wild text recognition are typically evaluated on complex scenes, their performance in the domain of documents is typically not published, and a comprehensive comparison with methods for document OCR is missing. This paper compares several methods designed for in-the-wild text recognition and for document text recognition, and provides their evaluation on the domain of structured documents. The results suggest that state-of-the-art methods originally proposed for in-the-wild text detection also achieve competitive results on document text detection, outperforming available OCR methods. We argue that the application of document OCR should not be omitted in evaluation of text detection and recognition methods.

研究の動機と目的

• 最新の屋外テキスト検出モデルが、構造化ドキュメント画像にうまく一般化するかどうかを評価すること。
• 標準的なドキュメントベンチマークデータセット上で、屋外検出器と専用ドキュメントOCRエンジンの性能を比較すること。
• ドキュメント固有のデータセット上で、微調整された屋外検出器と公開の認識モデルを組み合わせることで、エンドツーエンドのテキスト認識性能を評価すること。
• テキスト検出手法のベンチマーク評価において、ドキュメントOCRの評価を含める重要性を強調すること。

提案手法

• FUNSD、CORD、XFUNDなどのドキュメント固有のデータセット上で、DBNet++、TextBPN++、DCLNet、FCENetといった複数の屋外テキスト検出モデルを微調整した。
• CLEvalメトリクスを用いて検出性能を評価し、複数のドキュメントデータセットにおけるF1スコア、精度、再現率に注目した。
• MMOCRおよびdocTRの事前学習済み認識モデル（CRNN、SAR、MASTER）と組み合わせることで、2段階のエンドツーエンド認識を実行した。
• MMOCR 0.6.2 Model ZooおよびdocTRの公開モデルを用い、再学習を避けることで公平な比較を確保した。
• 商用OCRサービス（AWS Textract、Google Document AI）およびオープンソースOCR（Tesseract、PP-OCR）と比較した。
• 検出ヘッドに微分可能なバイナリゼーションを適用し、ドキュメント内の不規則なテキストインスタンスの局所化精度を向上させた。

実験結果

リサーチクエスチョン

• RQ1 最新の屋外テキスト検出モデルは、専用ドキュメントOCRシステムと比較して、構造化ドキュメント画像において競争的または優れた性能を発揮できるか？
• RQ2 屋外検出器をドキュメントデータで微調整することで、標準的なドキュメントベンチマーク上での検出F1スコアにどのような影響を与えるか？
• RQ3 ドキュメントデータセット上で、屋外検出器と汎用認識モデルを組み合わせた際のエンドツーエンド認識性能はどの程度か？
• RQ4 AWS Textract などの商用OCRサービスは、ドキュメントで特に訓練されていないにもかかわらず、エンドツーエンド評価でオープンソースモデルを大きく上回る理由は何か？
• RQ5 新しいテキスト検出手法の評価において、実用的応用性を確保するため、ドキュメントOCRベンチマークを含めるべきかどうか？

主な発見

• DBNet++はFUNSDで92.23%、CORDで96.62%の検出F1スコアを達成し、Google Document AI（91.42%および90.97%）およびAWS Textract（94.53%および83.32%）を上回った。
• TextBPN++はFUNSDで90.86%、CORDで96.52%の検出F1スコアを達成し、ドキュメントレイアウトへの強い汎化性を示した。
• CRNNとDBNet++を組み合わせたエンドツーエンド認識では、FUNSDで93.52%の再現率および92.23%のF1スコアを達成し、他の検出器と認識モデルの組み合わせをすべて上回った。
• AWS TextractはCORDで96.63%のエンドツーエンド認識F1スコアを達成し、すべてのオープンソースモデルを大きく上回った。これは、内部の認識エンジンが優れているためと推測される。
• 微調整されたCRNNモデルは、屋外検出器と組み合わせることで、FUNSDで93%以上のF1スコア、CORDで98.5%以上のF1スコアを達成した。これは、強い汎化性を示している。
• 高い検出再現率を示したにもかかわらず、DBNet++は最高のエンドツーエンドF1スコアを達成しなかった。これは、精度が低いためであり、検出品質そのものが認識性能を保証するわけではないことを示している。