[論文レビュー] TSRFormer: Table Structure Recognition with Transformers

Weihong Lin, Zheng Sun+5 more|arXiv (Cornell University)|Aug 9, 2022

Handwritten Text Recognition Techniques被引用数 9

ひとこと要約

TSRFormerは、二段階のDETRベースのフレームワークであるSepRETRを用いて、分離線予測を線回帰問題として定式化する、新しいテーブル構造認識手法を提案する。この手法は歪み、境界線なし、複雑なテーブルにおいて、精度と頑健性を向上させる。SciTSR、PubTabNet、WTWベンチマークで最先端の性能を達成し、困難な社内データセットにおいても優れた一般化性能を示す。

ABSTRACT

We present a new table structure recognition (TSR) approach, called TSRFormer, to robustly recognizing the structures of complex tables with geometrical distortions from various table images. Unlike previous methods, we formulate table separation line prediction as a line regression problem instead of an image segmentation problem and propose a new two-stage DETR based separator prediction approach, dubbed extbf{Sep}arator extbf{RE}gression extbf{TR}ansformer (SepRETR), to predict separation lines from table images directly. To make the two-stage DETR framework work efficiently and effectively for the separation line prediction task, we propose two improvements: 1) A prior-enhanced matching strategy to solve the slow convergence issue of DETR; 2) A new cross attention module to sample features from a high-resolution convolutional feature map directly so that high localization accuracy is achieved with low computational cost. After separation line prediction, a simple relation network based cell merging module is used to recover spanning cells. With these new techniques, our TSRFormer achieves state-of-the-art performance on several benchmark datasets, including SciTSR, PubTabNet and WTW. Furthermore, we have validated the robustness of our approach to tables with complex structures, borderless cells, large blank spaces, empty or spanning cells as well as distorted or even curved shapes on a more challenging real-world in-house dataset.

研究の動機と目的

• 実際の画像における複雑で幾何学的に歪んだ、境界線のないテーブルの認識に課題に取り組む。
• マスクから線への変換にヒューリスティックな後処理に依存するセグメンテーションベースの手法の限界を克服する。
• 二段階DETRにおける分離線予測の収束性と局所化精度を向上させる。
• 直接分離線を回帰し、セルの統合を回復する、頑健でエンドツーエンドのフレームワークを構築する。
• 曲がった、空の、大規模な空白領域を有するテーブルを含む、多様な現実世界のテーブルシナリオにおける性能を検証する。

提案手法

• 画像セグメンテーションではなく、線回帰問題としてテーブルの分離線予測を定式化し、ヒューリスティックなマスクから線への変換を回避する。
• まず参照点を予測し、その後でトランスフォーマーデコーダーを用いて完全な分離線を回帰する二段階DETRベースのセパレータ回帰モジュール（SepRETR）を提案する。
• 分離線予測タスクにおけるDETRフレームワークの収束を高速化するためのプリオリ強化マッチング戦略を導入する。
• 高解像度の畳み込み特徴マップから直接特徴をサンプリングする新しいクロスアテンションモジュールを設計し、計算コストを低く抑えつつ局所化精度を向上させる。
• 交差するセパレータ線から行・列のセルマージンを回復する関係ネットワークベースのセルマージングモジュールを採用する。
• 変換器デコーダーでセット予測損失を用いることで、ヒューリスティックなラベル割り当てやNMSに依存しないようにする。

実験結果

リサーチクエスチョン

• RQ1 歪んでもあり、境界線のないテーブルにおいて、線回帰はセグメンテーションよりも分離線予測に有効であるか？
• RQ2 二段階DETRフレームワークを、TSRにおける高精度・低コストな分離線回帰にどのように改善できるか？
• RQ3 プリオリ強化マッチング戦略は、DETRベースのTSRモデルにおける収束を顕著に高速化するか？
• RQ4 高解像度特徴マップからの直接的特徴サンプリングは、計算コストを増加させることなく局所化精度を向上させられるか？
• RQ5 曲がりくねった、大規模な空白領域、セルのマージを伴う複雑な現実世界のテーブル変化に対して、提案手法はどれほど頑健か？

主な発見

• WTWベンチマークで95.2%の最先端のF1スコアを達成し、先行手法を上回った。
• SciTSRデータセットではF1スコア92.6%を達成し、科学的テーブルにおいても優れた一般化性能を示した。
• アブレーションスタディにより、セット予測と高解像度特徴サンプリングを組み合わせた提案されたSepRETRモジュールが、ベースライン設計比でF1スコアを0.5%向上させたことが確認された。
• プリオリ強化マッチング戦略により、20エポックで収束が可能となり、標準的なDETR（40エポック学習）と同等の性能を達成した。
• 定性的な結果から、曲がった、境界線のない、重度に歪んだテーブルに対しても本手法は頑健であり、困難な社内評価においてセグメンテーションベースのベースラインを上回った。
• 大規模な空白領域、空のセル、セルのマージを伴うテーブルにおいても、高い精度を維持しており、実用的な頑健性を確認した。