[論文レビュー] Detecting Table Region in PDF Documents Using Distant Supervision

Miao Fan, Doo Soon Kim|arXiv (Cornell University)|Jun 29, 2015

Handwritten Text Recognition Techniques参考文献 6被引用数 12

ひとこと要約

本稿では、ACL Anthologyから大規模なラベルなし学術論文を活用して弱いラベル付き学習データを自動生成することで、PDFにおけるオープンドメインテーブル領域検出のための遠隔教師付きパラダイムを提案する。レイアウト特徴量、品詞タグ、固有表現を組み合わせたアンサンブル分類器（ナイーブベイズ、ロジスティック回帰、SVM）を用いることで、PdfExtraはドメイン内（ACL）およびドメイン外（ICDAR 2013）の両データセットで最先端の性能を達成し、人的ラベル付けの最小限の努力で、先行手法を著しく上回った。

ABSTRACT

Superior to state-of-the-art approaches which compete in table recognition with 67 annotated government reports in PDF format released by {\it ICDAR 2013 Table Competition}, this paper contributes a novel paradigm leveraging large-scale unlabeled PDF documents to open-domain table detection. We integrate the paradigm into our latest developed system ({\it PdfExtra}) to detect the region of tables by means of 9,466 academic articles from the entire repository of {\it ACL Anthology}, where almost all papers are archived by PDF format without annotation for tables. The paradigm first designs heuristics to automatically construct weakly labeled data. It then feeds diverse evidences, such as layouts of documents and linguistic features, which are extracted by {\it Apache PDFBox} and processed by {\it Stanford NLP} toolkit, into different canonical classifiers. We finally use these classifiers, i.e. {\it Naive Bayes}, {\it Logistic Regression} and {\it Support Vector Machine}, to collaboratively vote on the region of tables. Experimental results show that {\it PdfExtra} achieves a great leap forward, compared with the state-of-the-art approach. Moreover, we discuss the factors of different features, learning models and even domains of documents that may impact the performance. Extensive evaluations demonstrate that our paradigm is compatible enough to leverage various features and learning models for open-domain table region detection within PDF files.

研究の動機と目的

• 高価な手動ラベル付けに依存せずに、PDFドキュメントにおけるテーブル領域を検出する課題に対処すること。
• 多様なドキュメントレイアウトやドメインに一般化可能なスケーラブルなオープンドメインソリューションを構築すること。
• レイアウト特徴量、言語的特徴量、複数の分類器の組み合わせが検出精度を向上させる効果を評価すること。
• 特徴量の組み合わせ、学習モデル、ドメインシフトがテーブル検出性能に与える影響を調査すること。

提案手法

• ACL Anthologyの9,466件のラベルなしPDFにヒューリスティックルールを適用して、弱いラベル付き学習データを自動生成する。
• Apache PDFBoxを用いてレイアウト特徴量（例：空間的整列、行間隔）を抽出し、Stanford NLPツールキットを用いて品詞タグ、固有表現を抽出する。
• 弱いラベル付きデータ上で、3つの代表的分類器（ナイーブベイズ、ロジスティック回帰、サポートベクターマシン）を訓練する。
• 3つの分類器の予測結果をメジャー数投票方式で統合し、テストドキュメントにおけるテーブル領域を予測する。
• 学術PDFで学習し、ドメイン内（ACL）およびドメイン外（ICDAR 2013）のテストセットで評価する。
• 特徴量の組み合わせ（レイアウトのみ、レイアウト＋品詞タグ、全特徴量）と、分類器の性能をデータセットごとに評価する。

実験結果

リサーチクエスチョン

• RQ1 遠隔教師付きアプローチは、テーブル領域検出におけるラベル付けコストを著しく削減しつつ、高い精度を維持できるか？
• RQ2 レイアウト特徴量と言語的特徴量の異なる組み合わせが、検出性能にどのように影響するか？
• RQ3 異なるドメインでテーブル領域を検出する際、さまざまな教師あり分類器（ナイーブベイズ、ロジスティック回帰、SVM）の性能はどのように比較できるか？
• RQ4 学術PDFで学習したモデルが、レイアウトが異なる政府文書にどの程度一般化できるか？
• RQ5 ドメインシフトが、提案された検出パラダイムの性能に与える影響は何か？

主な発見

• PdfExtraはACL AnthologyテストセットでF1スコア0.8022を達成し、最先端のヒューリスティックベースライン（F1 = 0.4444）を著しく上回った。
• ICDAR 2013ドメイン外テストセットでは、ACLデータで学習した場合にF1スコア0.7683を達成し、優れたクロスドメイン一般化性能を示した。
• ICDAR 2013データセットでは、レイアウト特徴量と品詞タグの組み合わせ（NAM + PTD）が最良の性能を示したが、ACL Anthologyでは全特徴量統合（NAM + PTD + NEP）が最良であった。
• ナイーブベイズ分類器は、ドメイン内およびドメイン外の両評価で最も安定した性能を示した。
• 品詞タグと固有表現といった言語的特徴量の統合により、レイアウト特徴量のみのものに比べて顕著な性能向上が達成された。
• ドメインシフトに対するシステムの頑健性は、オープンドメインテーブル検出における遠隔教師付きパラダイムの有効性を裏付けた。