[論文レビュー] TabLeX: A Benchmark Dataset for Structure and Content Information Extraction from Scientific Tables

Harsh Desai, Pratik Kayal+1 more|arXiv (Cornell University)|May 12, 2021

Handwritten Text Recognition Techniques参考文献 30被引用数 16

ひとこと要約

この論文では、LaTeXを用いて正確な構造とコンテンツのアノテーションを保証するように生成された、科学論文の300万枚以上の表画像からなる大規模ベンチマークデータセットTabLeXを紹介する。このデータセットは、多様なフォント、アスペクト比、および正解のLaTeXコードを備えており、深層学習モデルの堅牢な評価を可能にする。特に、最先端のアーキテクチャを用いても、複雑な科学的表に対して顕著な限界が見られる。

ABSTRACT

Information Extraction (IE) from the tables present in scientific articles is challenging due to complicated tabular representations and complex embedded text. This paper presents TabLeX, a large-scale benchmark dataset comprising table images generated from scientific articles. TabLeX consists of two subsets, one for table structure extraction and the other for table content extraction. Each table image is accompanied by its corresponding LATEX source code. To facilitate the development of robust table IE tools, TabLeX contains images in different aspect ratios and in a variety of fonts. Our analysis sheds light on the shortcomings of current state-of-the-art table extraction models and shows that they fail on even simple table images. Towards the end, we experiment with a transformer-based existing baseline to report performance scores. In contrast to the static benchmarks, we plan to augment this dataset with more complex and diverse tables at regular intervals.

研究の動機と目的

• 科学的文書における表情報抽出（TIE）のための多様で高品質なデータセットの不足に対処すること。
• LaTeXでレンダリングされた科学的論文から表のコンテンツを抽出する堅牢な前処理パイプラインを開発すること。
• 表構造認識（TSR）およびコンテンツ認識（TCR）の両タスクをサポートする大規模かつ多様なベンチマークデータセット（TabLeX）を構築すること。
• このベンチマーク上で最先端のモデルを評価し、現在のTIEシステムにおける主な失敗モードを同定すること。
• 今後の研究の基盤を築くために、複雑で多様な科学的表を継続的にデータセット拡張可能にする仕組みを確立すること。

提案手法

• 前処理パイプラインがLaTeX形式の科学的文書から表領域を抽出し、構造的およびコンテンツ的情報を保持する。
• 表画像はレンダリングツールを用いてLaTeXソースコードから生成され、正確な正解アノテーションが保証される。
• データセットには、構造抽出用に310万枚の画像、コンテンツ抽出用に110万枚の画像が含まれており、12種類のフォント、アスペクト比、解像度が多様に設定されている。
• 各画像は、構造およびコンテンツの両方に対して、対応する正解LaTeXトークン列とペアになっている。
• 特徴エンコーディングとシーケンス生成に部分的なResNet-101と段階的なTransformerを用い、TabLeX上でスクラッチから訓練されたトランスフォーマー基盤のベースライン（TIE-ResNet-Transformer）が訓練された。
• 評価にはEMA、BLEU-4、WERの指標を用い、構造およびコンテンツ予測タスクにおけるモデル性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 多様な視覚的・意味的複雑性を有する、現実世界の複雑な科学的表画像に対して、最先端のTIEモデルはどの程度の性能を示すか？
• RQ2 現在のモデルが、データセットバイアスやアーキテクチャの制限によって、単純な表構造においてどの程度失敗するか？
• RQ3 アスペクト比、フォント、画像品質の変化が、表構造およびコンテンツ抽出におけるモデル性能にどのように影響するか？
• RQ4 TabLeXで訓練されたトランスフォーマー基盤のモデルは、多様な科学的表レイアウトに対して堅牢な性能を達成できるか？
• RQ5 現在のTIEシステムが数学的コンテンツや複雑なフォーマットを処理する際、主な失敗モードは何か？

主な発見

• TIE-ResNet-Transformerモデルは、固定アスペクト比のTCD-250データセットでBLEU-4スコア96.75、WER14.05を達成し、より単純な表ではコンテンツ生成に優れた性能を示している。
• 構造認識のタスクでは、固定アスペクト比のTSD-250でEMAスコア74.02%を達成しており、コンテンツ抽出より高い性能を示している。
• 保存されたアスペクト比の画像ではモデルの性能が著しく低下し、TCD-250ではEMAが21.19%に低下しており、画像スケーリングに敏感であることが示された。
• モデルはコンテンツシーケンスにおける波かっこ（{}）およびドル記号（$）の予測に頻繁に失敗しており、これらが欠落するとEMAが最大50%低下する。
• 予測および正解から波かっことドル記号を除外した後、TCD-250のEMAスコアは保存されたアスペクト比で21.19%から68.78%に、固定アスペクト比で75.33%に上昇した。これは主要な失敗モードを示している。
• データセットは、表構造認識に不可欠な要素である`\\hline`が正しく認識されないことを明らかにした。完全一致の100.00ではなく、BLEUスコアが89.66にとどまっている。