[論文レビュー] Image-based table recognition: data, model, and evaluation

Zhong Xu, Elaheh ShafieiBavani+1 more|arXiv (Cornell University)|Nov 25, 2019

Handwritten Text Recognition Techniques参考文献 38被引用数 37

ひとこと要約

この論文は PubTabNet を、画像ベースの表認識の最大規模公開データセットとして紹介し、表画像を HTML に変換するエンコーダー・デュアルデコーダー (EDD) モデル、そして評価のための木編集距離ベースの指標 (TEDS) を提案します。画像入力だけで複雑な表に対してベースラインより優れた性能を発揮します。

ABSTRACT

Important information that relates to a specific topic in a document is often organized in tabular format to assist readers with information retrieval and comparison, which may be difficult to provide in natural language. However, tabular data in unstructured digital documents, e.g., Portable Document Format (PDF) and images, are difficult to parse into structured machine-readable format, due to complexity and diversity in their structure and style. To facilitate image-based table recognition with deep learning, we develop the largest publicly available table recognition dataset PubTabNet (https://github.com/ibm-aur-nlp/PubTabNet), containing 568k table images with corresponding structured HTML representation. PubTabNet is automatically generated by matching the XML and PDF representations of the scientific articles in PubMed Central Open Access Subset (PMCOA). We also propose a novel attention-based encoder-dual-decoder (EDD) architecture that converts images of tables into HTML code. The model has a structure decoder which reconstructs the table structure and helps the cell decoder to recognize cell content. In addition, we propose a new Tree-Edit-Distance-based Similarity (TEDS) metric for table recognition, which more appropriately captures multi-hop cell misalignment and OCR errors than the pre-established metric. The experiments demonstrate that the EDD model can accurately recognize complex tables solely relying on the image representation, outperforming the state-of-the-art by 9.7% absolute TEDS score.

研究の動機と目的

• 大規模で自動的に注釈付けされたデータセット（PubTabNet）を、PMCOA PDFs から抽出した HTML 表現とともに作成する。
• 表構造を別々に処理する end-to-end の画像ベース表認識モデル（EDD）を開発する。
• 木編集距離ベースの類似度指標（TEDS）を導入し、マルチホップの構造エラーと OCR の誤りをより適切に捉える。
• PubTabNet での EDD モデルの有効性を実証し、合成データセットや外部ベースラインへの一般化を評価する。

提案手法

• PubTabNet を PMCOA の PDF の XML グラウンドトゥルース HTML と対応する表領域を合わせて、クリーンな HTML 表現をキュレーションする。
• エンコーダー・デュアルデコーダー（EDD）を提案する：エンコーダー、構造デコーダー、セルデコーダーを備え、構造デコーダーが表構造を生成し、セル内容のデコーダーをトリガーする。
• 構造トークン損失とセルトークン損失を組み合わせたデュアルクロスエントロピー損失でEDDを訓練し、λ パラメータでバランスを取る（l = lambda * ls + (1 - lambda) * lc）。
• 表を HTML ツリーとして表現し、構造トークンとセル内容トークンをデコードする。デコーダの出力を統合して最終 HTML を形成する。
• 木編集距離ベースの類似度指標（TEDS）を提案し、表ツリー上で 1 - EditDist(Ta,Tb)/max(|Ta|,|Tb|) を計算する。td ノードの置換コストと置換の内容類似性をカスタマイズする。

実験結果

リサーチクエスチョン

• RQ1 大規模に自動生成されたデータセット（PubTabNet）は、画像ベースの表認識を堅牢に支援できるか。
• RQ2 デュアルデコーダー構造（構造認識と内容認識）は、画像からの表認識において単一デコーダー/画像から LaTeX へのベースラインより精度を向上させるか。
• RQ3 木構造の類似度指標（TEDS）は、従来の隣接性ベース指標より、表のエラー（構造と OCR）に対してより忠実か。
• RQ4 EDD モデルは合成データや外部のベースラインに対して、画像入力でどの程度一般化できるか。
• RQ5 表サイズ、また跨ぎセルや複雑なヘッダに関して、EDD の限界はどこにあるか。

主な発見

Input	Method	Average TEDS (%)	Simple	Complex	All
PDF	Tabula	78.0	57.8	67.9
PDF	Traprange	60.8	49.9	55.4
PDF	Camelot	80.0	66.0	73.0
PDF	PDFPlumber	44.9	35.9	40.4
PDF	Acrobat Pro	68.9	61.8	65.3
Image	Acrobat Pro	53.8	53.5	53.7
WYGIWYS		81.7	75.5	78.6
EDD		91.2	85.4	88.3

• PubTabNet には PMCOA XML および PDF から派生した HTML 表現を持つ 568k の表画像が含まれる。
• EDD モデルは、単なる画像入力のみを用いて、単純・複雑な表のいずれにおいてもベースラインを大幅に上回る（TEDS スコア）。
• EDD は simple/complex テーブルを合わせた平均 TED S で 91.2% を達成し、WYGIWYS や市販ツールを顕著に上回る。
• TEDS は空セルやマルチホップの不整合、OCR エラーを従来の隣接性ベース指標よりも効果的に捉える。
• 合成データでは、EDD はほぼ完璧な TED S（約 99.7–99.8%）を達成し、4 カテゴリで TIES を上回る正確一致を示し、強い一般化を示す。
• モデルは表のサイズに対して頑健だが、大きな表では性能が低下する。サイズ固有の処理でリスケール効果を緩和可能と示唆する。