[論文レビュー] Table Structure Recognition with Conditional Attention

Bin Xiao, Murat Şimşek+2 more|arXiv (Cornell University)|Mar 8, 2022

Text and Document Classification Technologies被引用数 9

ひとこと要約

本稿では、位置情報依存の座標に依存せずに、視覚的特徴を用いてセルの関連付け分類としてテーブル構造認識を定式化する条件付きアテンションネットワーク、CATT-Netを提案する。この手法は最先端の性能を達成し、整列済みバウンディングボックスを用いた ICDAR2013 で Micro-F1 を 0.963 まで向上させ、今後の研究のための新たなアノテート済みベンチマークを提供する。このベンチマークには整列済みおよびテキスト中心のバウンディングボックスの両方が含まれる。

ABSTRACT

Tabular data in digital documents is widely used to express compact and important information for readers. However, it is challenging to parse tables from unstructured digital documents, such as PDFs and images, into machine-readable format because of the complexity of table structures and the missing of meta-information. Table Structure Recognition (TSR) problem aims to recognize the structure of a table and transform the unstructured tables into a structured and machine-readable format so that the tabular data can be further analysed by the down-stream tasks, such as semantic modeling and information retrieval. In this study, we hypothesize that a complicated table structure can be represented by a graph whose vertices and edges represent the cells and association between cells, respectively. Then we define the table structure recognition problem as a cell association classification problem and propose a conditional attention network (CATT-Net). The experimental results demonstrate the superiority of our proposed method over the state-of-the-art methods on various datasets. Besides, we investigate whether the alignment of a cell bounding box or a text-focused approach has more impact on the model performance. Due to the lack of public dataset annotations based on these two approaches, we further annotate the ICDAR2013 dataset providing both types of bounding boxes, which can be a new benchmark dataset for evaluating the methods in this field. Experimental results show that the alignment of a cell bounding box can help improve the Micro-averaged F1 score from 0.915 to 0.963, and the Macro-average F1 score from 0.787 to 0.923.

研究の動機と目的

• 位置に敏感な特徴に依存せずに、非構造的ドキュメント画像における複雑なテーブル構造の認識に課題に取り組むこと。
• 座標ベースの入力ではなく視覚的特徴を用いることで、クロスドメイン設定における汎化性能を向上させること。
• 整列済みとテキスト中心のセルバウンディングボックスアノテーションの二種類がモデル性能に与える影響を調査すること。
• 今後の評価のための新しいアノテート済みベンチマークデータセット（ICDAR2013 に二種類のバウンディングボックスタイプを備えたもの）を提供すること。

提案手法

• 各セルペアを垂直、水平、または接続なしのいずれかの候補として扱い、テーブル構造認識をセル関連分類問題として定式化する。
• ペア内の二つのセルを条件として用いる条件付きアテンションメカニズムを導入し、チャネルおよび空間アテンションを強化することで特徴の識別能を向上させる。
• セル画像からの視覚的特徴のみに依存するトップダウンアプローチを採用し、バウンディングボックス座標や解像度に依存しない。
• セルを頂点、関連を辺とするグラフベースの表現を用い、モデルがセルペア間の辺の種別を予測する。
• 事前検出ステップの誤りを低減するため、バウンディングボックスのマージなどの後処理技術を適用する。
• 公開データセット上でエンドツーエンドにモデルを学習させ、アテンションを用いてセル間の文脈的関係を学習する。

実験結果

リサーチクエスチョン

• RQ1 条件付きアテンションの使用が、テーブル構造認識におけるセル関連予測にどのように寄与するか？
• RQ2 整列済みバウンディングボックスとテキスト中心バウンディングボックスの相対的な影響は何か？
• RQ3 座標依存のモデルと比較して、視覚的特徴にのみ依存するボトムアップアプローチは、ドメイン間でより良い汎化性能を示せるか？
• RQ4 バウンディングボックスアノテーションタイプの選択が、テーブル構造認識における最終的な F1 スコアにどの程度影響を与えるか？
• RQ5 二種類のバウンディングボックスアノテーションを備えた新しいベンチマークデータセットは、この分野における再現性と評価を向上させられるか？

主な発見

• CATT-Net は、整列済みバウンディングボックスを用いた ICDAR2013 データセットで Micro-平均 F1 スコア 0.963 を達成し、以前の最先端手法（0.930）を顕著に上回った。
• 整列済みバウンディングボックスを用いることで、マクロ平均 F1 は 0.787 から 0.923 に向上した。
• 条件付きアテンションメカニズムにより、ペア内の両セルを条件として用いることで、特徴学習が強化され、より正確な関連予測が可能になった。
• 整列済みバウンディングボックスは性能を顕著に向上させ、テキスト中心のボックスと比較して Micro-F1 が 0.048、マクロ-F1 が 0.136 向上した。
• 視覚的特徴に依存するため、座標ベースの入力に依存しないこの手法は、ドメイン間で良好な汎化性能を示した。
• 整列済みおよびテキスト中心の両方のバウンディングボックスアノテーションを備えた ICDAR2013 データセットの新規アノテーションは、今後の研究における貴重なベンチマークを提供する。