[論文レビュー] Towards Robust Visual Information Extraction in Real World: New Dataset and Novel Solution

Jia-Peng Wang, Chongyu Liu+7 more|arXiv (Cornell University)|Jan 24, 2021

Handwritten Text Recognition Techniques被引用数 9

ひとこと要約

本稿では、視覚的および意味的連携メカニズムを用いて共同最適化を可能にする、一貫したエンド・ツー・エンドフレームワークVIESを提案する。また、テキストスポットリングとビジュアル情報抽出の両方をカバーする、中国語向けの最初の完全アノテーション済みベンチマークEPOIEを導入し、エンド・ツー・エンド設定下でSROIEデータセットにおいてSOTA比9.01%のFスコア向上を達成した。

ABSTRACT

Visual information extraction (VIE) has attracted considerable attention recently owing to its various advanced applications such as document understanding, automatic marking and intelligent education. Most existing works decoupled this problem into several independent sub-tasks of text spotting (text detection and recognition) and information extraction, which completely ignored the high correlation among them during optimization. In this paper, we propose a robust visual information extraction system (VIES) towards real-world scenarios, which is a unified end-to-end trainable framework for simultaneous text detection, recognition and information extraction by taking a single document image as input and outputting the structured information. Specifically, the information extraction branch collects abundant visual and semantic representations from text spotting for multimodal feature fusion and conversely, provides higher-level semantic clues to contribute to the optimization of text spotting. Moreover, regarding the shortage of public benchmarks, we construct a fully-annotated dataset called EPHOIE (https://github.com/HCIILAB/EPHOIE), which is the first Chinese benchmark for both text spotting and visual information extraction. EPHOIE consists of 1,494 images of examination paper head with complex layouts and background, including a total of 15,771 Chinese handwritten or printed text instances. Compared with the state-of-the-art methods, our VIES shows significant superior performance on the EPHOIE dataset and achieves a 9.01% F-score gain on the widely used SROIE dataset under the end-to-end scenario.

研究の動機と目的

• 実世界のビジュアル情報抽出（VIE）におけるテキストスポットリングと情報抽出の分離型アプローチの限界を解消すること。
• テキスト検出、認識、エンティティ抽出を共同最適化することで、誤差伝搬と冗長な計算を低減すること。
• 視覚、意味的特徴、空間的レイアウトからのマルチモodal特徴を活用する、堅牢でエンド・ツー・エンドで学習可能なフレームワークを構築すること。
• 複雑なレイアウトと手書き文字を含む中国語ドキュメント理解のための新しいベンチマークを確立すること。
• ノイジーな背景や任意のテキスト方向を有する実世界のシナリオにおける性能向上を図ること。

提案手法

• テキスト検出、認識、情報抽出を共同最適化する一貫したエンド・ツー・エンドフレームワークVIESを提案する。
• 情報抽出のためのテキストスポットリングからの視覚的特徴を集約するためのビジョン・コordinatioinメカニズム（VCM）を導入する。
• テキストスポットリングの検出および認識を向上させるために、高レベルの意味的手がかりを戻すためのセマンティクス・コordinatioinメカニズム（SCM）を導入する。
• 段落レベルおよびトークンレベルでの視覚、意味的、位置的特徴を統合するためのアダプティブ特徴統合モジュール（AFFM）を設計する。
• 1,494枚の実際の試験用紙の表紙画像と15,771件のアノテーション済み中国語テキストインスタンスを含むEPHOIEという新規データセットを構築する。複雑なレイアウトに手書きおよび印刷文字が含まれる。
• 出力フォーマットの補正を目的とした軽量なネットワーク構造と単純な正則化を採用し、重いモデルアンサンブルや後処理を回避する。

実験結果

リサーチクエスチョン

• RQ1 テキスト検出、認識、情報抽出の共同最適化は、実世界のドキュメント理解におけるロバストネスを向上させるか？
• RQ2 視覚、意味的、空間的レイアウトからのマルチモーダル特徴統合は、エンド・ツー・エンドVIE性能をどのように向上させるか？
• RQ3 統合フレームワークは、段階的なパイプラインと比較して、誤差蓄積をどの程度低減できるか？
• RQ4 提案されたEPHOIEデータセットは、複雑な実世界の中国語ドキュメントにおけるVIEシステムの評価にどの程度有効か？
• RQ5 提案手法は、グランドトゥルース設定およびエンド・ツー・エンド設定の両方でSOTAモデルを上回る性能を示すか？

主な発見

• エンド・ツー・エンド設定下で、広く使われているSROIEデータセットにおいて、VIESは以前のSOTA比9.01%のFスコア向上を達成した。
• EPHOIEデータセットにおいて、VIESはF1スコア95.23%を達成し、エンド・ツー・エンド条件下で先行手法（TRIE：83.81%、Lampleら：83.81%）を著しく上回った。
• 共同最適化による効果的な誤差緩和のおかげで、OCRエラーが一般的なエンド・ツー・エンドシナリオにおいて、本手法は優れたロバストネスを示した。
• 提案されたEPHOIEデータセットは、中国語のテキストスポットリングとVIEのための最初の完全アノテーション済みベンチマークであり、複雑なレイアウトと手書き文字を有する実際の試験用紙の表紙を特徴としている。
• EPHOIEおよびSROIEの両方で、VIESはすべてのベースラインを上回り、多様なドキュメントタイプおよびアノテーション方式にわたり一貫した有効性を示した。
• グランドトゥルース設定下でも競争優勝手法がモデルアンサンブルや複雑な後処理を用いたにもかかわらず、VIESはその性能を上回った。