[論文レビュー] TableBank: A Benchmark Dataset for Table Detection and Recognition

Minghao Li, Lei Cui+4 more|arXiv (Cornell University)|Mar 5, 2019

Handwritten Text Recognition Techniques参考文献 30被引用数 30

ひとこと要約

本稿では、公開済みのWordおよびLaTeXドキュメントから弱い教師付き学習を用いて作成された、417,234件のラベル付きテーブルを含む大規模かつ高品質なベンチマークデータセット、TableBankを紹介する。このデータセットを用いて、エンドツーエンドのテーブル検出および構造認識のための最先端のディープラーニングモデルによる強力なベースラインを確立し、実世界のドキュメントレイアウトにわたる一般化を向上させるために、多様で大規模な学習データの重要性を示している。

ABSTRACT

We present TableBank, a new image-based table detection and recognition dataset built with novel weak supervision from Word and Latex documents on the internet. Existing research for image-based table detection and recognition usually fine-tunes pre-trained models on out-of-domain data with a few thousand human-labeled examples, which is difficult to generalize on real-world applications. With TableBank that contains 417K high quality labeled tables, we build several strong baselines using state-of-the-art models with deep neural networks. We make TableBank publicly available and hope it will empower more deep learning approaches in the table detection and recognition task. The dataset and models are available at \url{https://github.com/doc-analysis/TableBank}.

研究の動機と目的

• 実世界のドキュメント応用における画像ベースのテーブル検出および認識のための、大規模で多様かつ高品質な学習データの不足に対処すること。
• 既存のデータセットが小規模（数千例）かつドメイン特化的であるため、レイアウトやフォーマットの変化に一般化が難しいという限界を克服すること。
• 構造化されたソースドキュメント（WordおよびLaTeX）からの弱い教師付き学習を用いて、高品質な学習データをスケーラブルかつ自動的に生成する方法を開発すること。
• 多様なドキュメントタイプやレイアウトにわたるテーブル検出および構造認識モデルの評価のための標準ベンチマークを確立すること。
• 大規模でオープンドメインの学習データを活用することで、エンドツーエンドのディープラーニングアプローチが、ドメインをまたいでより良い一般化を達成できることを可能にすること。

提案手法

• ネイティブなWord（.docx）およびLaTeX（.tex）ドキュメント内の構造的マークアップを活用し、内部のXMLおよびTeXコードのパースを用いて、自動的にテーブルの境界を抽出する。
• マークアップタグ（例：LaTeXにおける\begin{table}、Office Open XMLにおけるtable要素）を用いてテーブル領域を特定することで弱い教師付き学習を実施し、人的ラベル付けなしに自動的にバウンディングボックスのアノテーションを可能にする。
• 研究論文、ビジネス文書、公式提出書類など多様なドメインをカバーする、417,234件の高品質な画像ベーステーブルインスタンスからなる大規模データセットを構築する。
• Faster R-CNNを用いたテーブル検出およびエンコーダデコーダ型の画像からテキストへの変換モデルを用いたテーブル構造認識のための最先端のディープラーニングモデルを訓練および評価する。
• モデルの一般化性能を評価するために、WordおよびLaTeXドキュメントから分離したテストセットを構築する。
• データセットおよびモデルをhttps://github.com/doc-analysis/TableBankにて公開し、今後の研究を支援する。

実験結果

リサーチクエスチョン

• RQ1 構造化されたドキュメントソース（WordおよびLaTeX）からの弱い教師付き学習は、テーブル検出および認識のための大規模で高品質な学習データを生成できるか？
• RQ2 多様なデータで訓練されたモデルの性能は、異なるドキュメントレイアウトやフォーマットにおいて、どのように変化するか？
• RQ3 学習データのサイズと多様性を増やすことで、画像ベースのテーブル解析モデルの一般化性能がどの程度向上するか？
• RQ4 TableBankで訓練されたエンドツーエンドのディープラーニングモデルは、小規模で人的ラベル付け済みのデータセットに依存する従来の手法を上回る性能を示せるか？
• RQ5 あるドキュメントタイプ（例：LaTeX）で微調整されたモデルが、他のタイプ（例：Word）に一般化する際の性能はどのようになるか？これはドメイン一般化にどのような示唆をもたらすか？

主な発見

• TableBankデータセットには、417,234件の高品質な画像ベーステーブルインスタンスが含まれており、既存のベンチマークと比べて桁違いに大きい。
• TableBankで訓練されたモデルは、レイアウトやフォーマットの変化にわたる一般化において顕著な性能向上を示している。
• 異なるソースからの学習データには強いドメインシフトが存在する—LaTeXベースのテーブルで訓練されたモデルは、Wordベースのテーブルでは性能が著しく低下する。
• ソースコード（WordおよびLaTeX）からの弱い教師付き学習を用いることで、人的ラベル付けなしに大規模で正確な学習データを生成でき、コスト削減とスケーラビリティの向上が可能になる。
• Faster R-CNNおよび画像からテキストへのシーケンスモデルを用いたベースラインモデルは、TableBankで強力な性能を示しており、このデータセットが頑健で一般化可能なモデルの訓練に有効であることを示している。
• 結果から、データの多様性と規模がモデルの一般化性能を向上させる上で極めて重要であることが明らかになった。今後のテーブル解析分野の進展は、こうした大規模でオープンなベンチマークに依存するだろう。