[論文レビュー] Integrating and querying similar tables from PDF documents using deep learning

Rahul Anand, Hye-Young Paik+1 more|arXiv (Cornell University)|Jan 15, 2019

Data Quality and Management参考文献 25被引用数 3

ひとこと要約

本論文では、テーブルタイプ分類とワード埋め込みベースの行類似度検索を用いて、PDFドキュメント間の類似した財務テーブルを照会・統合するためのディープラーニングベースのパイプラインを提案する。Google Newsのワード埋め込みを用いることで、87.84%の平均ヒットレートを達成し、手動でのスキーマ定義を必要とせず、非構造化PDFデータの効果的で自動化された分析を可能にする。

ABSTRACT

Large amount of public data produced by enterprises are in semi-structured PDF form. Tabular data extraction from reports and other published data in PDF format is of interest for various data consolidation purposes such as analysing and aggregating financial reports of a company. Queries into the structured tabular data in PDF format are normally processed in an unstructured manner through means like text-match. This is mainly due to that the binary format of PDF documents is optimized for layout and rendering and do not have great support for automated parsing of data. Moreover, even the same table type in PDF files varies in schema, row or column headers, which makes it difficult for a query plan to cover all relevant tables. This paper proposes a deep learning based method to enable SQL-like query and analysis of financial tables from annual reports in PDF format. This is achieved through table type classification and nearest row search. We demonstrate that using word embedding trained on Google news for header match clearly outperforms the text-match based approach in traditional database. We also introduce a practical system that uses this technology to query and analyse finance tables in PDF documents from various sources.

研究の動機と目的

• 手動でのスキーマ定義を必要とせず、異種のPDFドキュメント間で自動的かつ類似度ベースの財務テーブル照会を可能にすること。
• 従来のデータ統合手法が阻害される、PDFにおける一貫性のないテーブルレイアウトやスキーマの問題に対処すること。
• 非構造的で公開可能なPDFレポートから迅速なデータ統合と分析を可能にする実用的なシステムの開発。
• ディープラーニングベースのワード埋め込みが、半構造化データにおける曖昧な行マッチングにおいて、従来のデータベース文字列類似度を上回ることを示すこと。

提案手法

• HTMLタグを用いたパースを可能にするために、PDFをHTMLに変換し、テーブル構造を保持する。
• ヘッダーの内容とレイアウト特徴に基づいて、ディープラーニングモデルがテーブルをタイプ（例：損益計算書、貸借対照表）に分類する。
• Google Newsでトレーニングされたワード埋め込みを用いて、行および列ヘッダーを密なベクトルに符号化し、意味的類似度を計算する。
• 埋め込みヘッダーベクトル間のコサイン距離を用いて行類似度を計算することで、表記の異なるテーブル間での曖昧なマッチングを可能にする。
• このアプローチは、pg_trgmを用いたPostgreSQLのトリグラムベースの文字列類似度と比較して優れている。
• プロトタイプのWebインターフェースを用いて、この埋め込みベースの手法により、複数のPDF間で類似行を照会・閲覧できる。

実験結果

リサーチクエスチョン

• RQ1 従来のテキストマッチ手法と比較して、ディープラーニングベースのワード埋め込みは、PDFから抽出された財務テーブルにおける行類似度マッチングの正確性を向上させることができるか？
• RQ2 多様なレイアウトや用語を有する異なるPDFドキュメント間で、テーブルタイプ分類は類似したテーブルを効果的にグループ化できるか？
• RQ3 事前に定義されたスキーマなしに、統一された埋め込み空間が、複数ドキュメントにまたがる類似した財務テーブル行の照会をどの程度可能にするか？
• RQ4 事前学習済みのワード埋め込み（例：Google News）は、財務テーブルデータにおける意味的マッチングにおいて、カスタムトレーニング済み埋め込みを上回るか？
• RQ5 このパイプラインに基づくシステムは、手動でのデータインジェクションを要しないデータアナリストが、非構造化PDFデータに対して実用的でインタラクティブな照会を可能にするか？

主な発見

• Google Newsのワード埋め込みモデルは、テーブル間で類似行を特定する際、87.84%の平均ヒットレートを達成し、PostgreSQLのトリグラムベース類似度検索（75.08%のヒットレート）を顕著に上回った。
• カスタムトレーニング済みのワード埋め込みは83.15%の平均ヒットレートを達成し、この文脈において事前学習済み埋め込みが意味的マッチングにおいてより効果的であることを示した。
• 個々のテーブルサンプルでは、語彙が希薄または固有である場合、PostgreSQLがワード埋め込みを上回ることがあり、厳密な語彙マッチングによる利点が顕著に現れた。
• テーブルタイプ分類は高い正確性を達成し、埋め込み空間におけるテーブルタイプの明確なクラスタリングが確認され、効果的な意味的分離が示された。
• このシステムは、手動でのスキーマ定義を必要とせず、ディープラーニングベースの意味的マッチングがPDF間の財務データの自動的照会を可能にすることを実証した。
• プロトタイプシステムは、公開済みPDFレポートからの迅速なデータ統合と分析を可能にし、手動でのデータ抽出や高価なデータソースへの依存を低減した。