[論文レビュー] Deep learning for table detection and structure recognition: A survey

Mahmoud SalahEldin Kasem, Abdelrahman Abdallah+7 more|arXiv (Cornell University)|Nov 15, 2022

Handwritten Text Recognition Techniques被引用数 7

ひとこと要約

本サーベイは、ドキュメント画像におけるテーブル検出および構造認識のためのディープラーニングアプローチについて包括的な分析を提供し、手法、データセット、オープンソース実装を体系的に分類している。ベンチマークデータセットにおける最先端のパフォーマンスを強調するとともに、自動テーブル理解分野における主な課題と今後の研究方向性を特定している。

ABSTRACT

Tables are everywhere, from scientific journals, papers, websites, and newspapers all the way to items we buy at the supermarket. Detecting them is thus of utmost importance to automatically understanding the content of a document. The performance of table detection has substantially increased thanks to the rapid development of deep learning networks. The goals of this survey are to provide a profound comprehension of the major developments in the field of Table Detection, offer insight into the different methodologies, and provide a systematic taxonomy of the different approaches. Furthermore, we provide an analysis of both classic and new applications in the field. Lastly, the datasets and source code of the existing models are organized to provide the reader with a compass on this vast literature. Finally, we go over the architecture of utilizing various object detection and table structure recognition methods to create an effective and efficient system, as well as a set of development trends to keep up with state-of-the-art algorithms and future research. We have also set up a public GitHub repository where we will be updating the most recent publications, open data, and source code. The GitHub repository is available at https://github.com/abdoelsayed2016/table-detection-structure-recognition.

研究の動機と目的

• ドキュメント画像におけるテーブル検出および構造認識のためのディープラーニング手法の体系的分類を提供すること。
• ICDAR-2013、ICDAR-2017-POD、ICDAR-2019、および UNLV などの主要なベンチマークデータセットにおいて、最先端モデルのパフォーマンスを分析すること。
• 公開可能なデータセット、モデル、ソースコードを収集・整理し、再現可能性および今後の研究を支援すること。
• 複雑なレイアウトの処理やドメイン間の一般化性に関する課題を特定し、今後のトレンドを明らかにすること。
• オブジェクト検出および構造認識パイプラインの評価を通じて、研究者および実務家が効果的なシステム設計に到達できるように支援すること。

提案手法

• ネットワークアーキテクチャおよびトレーニングパラダイムに基づく体系的分類に基づき、既存のアプローチをテーブル検出および構造認識のサブタスクに分類すること。
• ICDAR-2013、ICDAR-2017-POD、ICDAR-2019、および UNLV といった広く使われているベンチマークで、標準的な指標（精度、再現率、F1スコア、およびオーバーラップ割合（IoU））を用いて手法を評価すること。
• テーブル検出には Faster R-CNN、YOLO、RetinaNet、および完全畳み込みネットワーク（FCNs）といったディープラーニングフレームワークを調査し、構造認識には系列モデルやCNNベースのアーキテクチャを調査すること。
• 転移学習、データオーグメンテーション、および後処理技術が検出および認識の正確性を向上させる役割を分析すること。
• オブジェクト検出と構造認識パイプラインを統合し、エンドツーエンドのテーブル理解フレームワークを構築すること。
• 継続的な更新とコミュニティの貢献を可能にするために、データセット、モデル、ソースコードへのリンクを整理した公開GitHubリポジトリをホスティングおよび維持すること。

実験結果

リサーチクエスチョン

• RQ1 現代のテーブル検出および構造認識システムで一般的に使われている主要なディープラーニングアーキテクチャとトレーニング戦略は何か？
• RQ2 ICDAR-2013、ICDAR-2017-POD、ICDAR-2019、および UNLV などの標準ベンチマークにおいて、精度、再現率、F1スコアの観点から、異なるモデルのパフォーマンスはどのように異なるか？
• RQ3 複雑なレイアウト、フォーマットのばらつき、低品質なスキャン画像におけるテーブル検出の主な課題は何か？
• RQ4 エンドツーエンドのテーブル理解パイプラインにおいて、オブジェクト検出と構造認識モジュールはどのように相互作用するか？
• RQ5 本分野の研究を前進させるために、最も効果的なオープンソースフレームワーク、データセット、実装手法は何か？

主な発見

• 最先端のテーブル検出モデルは、CascadeTabNet や SciTSR といったオブジェクト検出手法を用いて、ICDAR-2013 でF1スコア95％を超えるほぼ完璧なパフォーマンスを達成している。
• ICDAR-2019 データセットではより挑戦的で、KA Hashmi の手法が最高でF1スコア95.46％を記録しており、複雑なレイアウトに対する課題が依然として残っていることを示している。
• 構造認識は依然としてボトルネックであり、X. Zheng の手法で報告された最高のF1スコアは54.8％にとどまり、セルセグメンテーションおよびレイアウト解析の分野での大幅な改善の余地があることを示している。
• 完全畳み込みネットワーク（FCNs）やエンドツーエンドで学習可能なモデルの使用は有望であるが、不規則または密集したテーブルを含むデータセットでは、検出タスクに比べて依然として性能が劣っている。
• オープンソース実装は主に PyTorch および TensorFlow に基づいており、PubTabNet や TableBank といったGitHubリポジトリが再現可能性およびモデルのファインチューニングを可能にしている。
• 高い検出精度にもかかわらず、構造的セグメンテーションおよびデータ抽出は依然として一貫性に欠け、特に複雑なテーブルを含むデータセットでは、より良いレイアウトモデリングと一般化性の向上が求められている。