[論文レビュー] Deep Structured Feature Networks for Table Detection and Tabular Data Extraction from Scanned Financial Document Images

Siwen Luo, Mengting Wu+3 more|arXiv (Cornell University)|Feb 20, 2021

Handwritten Text Recognition Techniques参考文献 10被引用数 6

ひとこと要約

本稿では、特徴マップピラミッドネットワーク（FPN）を搭載したFaster R-CNNを用いてスキャン済みの財務PDFドキュメントからのテーブル領域を検出し、その後、OCRと正規表現を組み合わせたルールベースのレイアウトセグメンテーション技術を用いて構造とコンテンツを抽出する、エンドツーエンドの新規フレームワークを提案する。主な貢献は、新たなアノテート済み財務文書データセットの作成、高い性能を示す検出モデルの開発、およびスケーラブルなルールベースのデータ抽出パイプラインの構築である。

ABSTRACT

Automatic table detection in PDF documents has achieved a great success but tabular data extraction are still challenging due to the integrity and noise issues in detected table areas. The accurate data extraction is extremely crucial in finance area. Inspired by this, the aim of this research is proposing an automated table detection and tabular data extraction from financial PDF documents. We proposed a method that consists of three main processes, which are detecting table areas with a Faster R-CNN (Region-based Convolutional Neural Network) model with Feature Pyramid Network (FPN) on each page image, extracting contents and structures by a compounded layout segmentation technique based on optical character recognition (OCR) and formulating regular expression rules for table header separation. The tabular data extraction feature is embedded with rule-based filtering and restructuring functions that are highly scalable. We annotate a new Financial Documents dataset with table regions for the experiment. The excellent table detection performance of the detection model is obtained from our customized dataset. The main contributions of this paper are proposing the Financial Documents dataset with table-area annotations, the superior detection model and the rule-based layout segmentation technique for the tabular data extraction from PDF files.

研究の動機と目的

• ノイズや構造的不整合の影響により、スキャン済みの財務文書画像からの表形式データ抽出が不正確であるという課題に対処する。
• 抽出されたテーブルの構造的整合性と意味的正確性を保証することで、金融分野におけるデータ抽出の信頼性を向上させる。
• 複雑でノイズの多い財務文書レイアウトから構造化された表形式データを抽出するためのスケーラブルで頑健な手法を開発する。
• 将来の財務文書分析分野の研究を支援するため、正確なテーブル領域アノテーションを備えた新規ベンチマークデータセットを作成する。
• 抽出パイプラインにルールベースのフィルタリングおよび再構成を統合し、正確性とスケーラビリティを向上させる。

提案手法

• マルチスケール特徴表現の向上を図るため、特徴マップピラミッドネットワーク（FPN）を搭載したFaster R-CNNを用いて、スキャン済みの財務文書画像内のテーブル領域を検出する。
• 検出されたテーブル領域に対してOCRを適用し、後続処理のためのテキストコンテンツおよびレイアウト情報を抽出する。
• OCRの出力結果と手作業で作成した正規表現ルールを組み合わせた、複合的なレイアウトセグメンテーション手法を用いて、テーブルの見出しとコンテンツを分離する。
• 構造的不整合を是正し、抽出時のデータ忠実度を向上させるために、ルールベースのフィルタリングおよび再構成モジュールを設計する。
• ドメイン特化の一般化を確保するため、アノテート済みの財務文書データセットを検出モデルの学習および評価に活用する。
• 検出と抽出のパイプラインを統合し、PDFドキュメントのエンドツーエンド処理を可能にする統一フレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 ベースライン手法と比較して、FPNを搭載したFaster R-CNNモデルは、スキャン済みの財務文書画像内でのテーブル領域検出においてどの程度効果的であるか？
• RQ2 OCRと正規表現を用いたルールベースのセグメンテーションは、テーブルの見出しとコンテンツの分離精度をどの程度向上させられるか？
• RQ3 提案されたパイプラインは、ノイズが多く、スキャンされた財務文書から構造化された表形式データをどの程度効果的に抽出できるか？
• RQ4 ルールベースのフィルタリングおよび再構成の統合は、表形式データ抽出のスケーラビリティと信頼性を顕著に向上させられるか？
• RQ5 ドメイン特化のアノテート済みデータセットを用いることで、テーブル検出および抽出モデルの性能にどのような影響を与えるか？

主な発見

• 提案されたFPN搭載Faster R-CNNは、新たに作成された財務文書データセットにおいて優れたテーブル検出性能を達成した。
• ルールベースのレイアウトセグメンテーション手法は、OCR出力結果と正規表現を組み合わせることで、効果的にテーブルの見出しとコンテンツを分離できた。
• ルールベースのフィルタリングおよび再構成機能の統合により、抽出された表形式データの構造的整合性と一貫性が顕著に向上した。
• 提案されたフレームワークは、最小限の手動介入で多様な財務文書レイアウトを処理するうえで高いスケーラビリティを示した。
• 正確なテーブル領域アノテーションを備えた財務文書データセットの作成と公開は、将来的な財務文書分析分野の研究に貴重なベンチマークを提供する。