[論文レビュー] Lights, Camera, Action! A Framework to Improve NLP Accuracy over OCR documents

Amit Gupte, Alexey Romanov+7 more|arXiv (Cornell University)|Aug 6, 2021

Topic Modeling参考文献 25被引用数 4

ひとこと要約

本稿では、合成データ生成パイプライン（Genalog）とアクション予測に基づくテキスト修復モデルを用いて、OCR処理済みドキュメントにおけるNLPの精度を向上させるフレームワークを提案する。この手法により、NLPタスク、特に名前付きエンティティ認識（NER）における精度低下が顕著に軽減され、最大73%のギャップ削減が達成される。これは、OCR誤りからクリーンなテキストを復元することで実現され、ドメイン外データに対しても一般化可能である。

ABSTRACT

Document digitization is essential for the digital transformation of our societies, yet a crucial step in the process, Optical Character Recognition (OCR), is still not perfect. Even commercial OCR systems can produce questionable output depending on the fidelity of the scanned documents. In this paper, we demonstrate an effective framework for mitigating OCR errors for any downstream NLP task, using Named Entity Recognition (NER) as an example. We first address the data scarcity problem for model training by constructing a document synthesis pipeline, generating realistic but degraded data with NER labels. We measure the NER accuracy drop at various degradation levels and show that a text restoration model, trained on the degraded data, significantly closes the NER accuracy gaps caused by OCR errors, including on an out-of-domain dataset. For the benefit of the community, we have made the document synthesis pipeline available as an open-source project.

研究の動機と目的

• NLPモデルの学習に必要なラベル付きで劣化したOCRドキュメントの不足を解消するため、NERアノテーションを保持した現実的で合成されたOCR影響を受けるドキュメントを生成する。
• OCR誤りが下流NLPタスク、特にテキスト劣化に起因する精度低下が顕著に現れる名前付きエンティティ認識（NER）に与える悪影響を軽減する。
• タスク固有の微調整に依存せずに、OCR出力からクリーンなテキストを再構築する汎用的なテキスト修復モデルを開発する。
• さまざまなOCR劣化レベルおよびドメイン外データセットを用いて、フレームワークの有効性、耐久性、一般化性能を評価する。
• 合成ドキュメント生成パイプライン（Genalog）をオープンソースとして公開し、今後のドキュメントインテリジェンスおよびOCR誤り低減分野の研究を支援する。

提案手法

• 平文テキストから合成ドキュメント画像を生成し、ぼかし、ノイズ、染み出しなどの現実的なOCR劣化を適用し、画像にOCRを実行した後、元のテキストからのNERアノテーションをOCR出力に伝達するパイプライン「Genalog」を設計・実装する。
• トークンレベルでの修正アクション（挿入、削除、置換など）を予測することで、ノイズのあるOCRテキストをクリーンなテキストにマップする、sequence-to-sequence型のアクション予測モデルを訓練する。
• トークンレベルと文字レベルの両方で動作するマルチタスクBi-LSTMモデルをNERに用い、OCRによって生じるサブワードレベルの誤りに対しても耐性を確保する。
• 動的計画法を用いてクリーンなテキストとノイズのあるテキストのペアをアライメントし、モデル学習中にラベルの一貫性を維持する。
• NERモデルに供給する前に、OCR出力をアクション予測モデルで復元する処理を実施し、エンドツーエンドの誤り補正を可能にする。
• 複数のデータセット（CoNLL-2003, CoNLL-2012, CNN）と劣化レベルを用いてフレームワークを評価し、NER性能におけるF1スコアの向上を測定する。

実験結果

リサーチクエスチョン

• RQ1 異なるドキュメント品質レベルにおけるOCR劣化が、NER性能にどの程度悪影響を及えるか？
• RQ2 合成された劣化OCRデータで学習したテキスト修復モデルは、実世界のOCR出力においてNER精度を効果的に回復できるか？
• RQ3 トレーニング時に見られなかったドメイン外ドキュメントに対して、アクション予測モデルはどの程度一般化性能を示すか？
• RQ4 さまざまな劣化強度において、復元済みテキストと生のOCR出力の間でNER F1スコアにどの程度の相対的改善が見られるか？
• RQ5 OCR誤りに起因するアラインメントミスマッチに対処する際、アクション予測アプローチは従来のseq2seqモデルを上回る性能を示すか？

主な発見

• OCR劣化によりNER精度が顕著に低下し、CoNLL-2003のクリーンなテキストではF1スコアが0.860であるのに対し、ノイズのあるテキストでは0.820に低下し、4.6ポイントの低下が生じた。
• アクション予測モデルは、軽微な劣化条件下でCoNLL-2012では最大73%、CoNLL-2003では52%のNER精度ギャップを回復させ、標準データセットにおいて優れた性能を示した。
• 人間によるNERアノテーションが存在しないCNNデータセットでは、ノイズのあるテキストにおけるNER F1スコアが0.989から0.590に低下し、復元モデルがそのギャップの76%を回復させた。
• 中程度の劣化レベルで最も高い性能を示し、フォビーディストラクションおよびすべての劣化（軽微）設定で最大77%のギャップ削減を達成したが、重度の複合的劣化ではわずかに性能が低下した。
• 最も深刻な劣化設定（すべての劣化を重度モードで適用）では、アクション予測モデルがNER精度ギャップを19%削減した。これは、極度のOCRノイズ下でも耐性があることを示している。
• フレームワークはドメイン外データに対しても効果的に一般化され、微調整なしに未学習のCNN記事においてもNER性能が向上した。