[論文レビュー] A Comparative Study of PDF Parsing Tools Across Diverse Document Categories

Nilanjan Adhikari, Satyam Agarwal|arXiv (Cornell University)|Oct 13, 2024

Natural Language Processing Techniques被引用数 5

ひとこと要約

この論文は DocLayNet を用いて6つの文書カテゴリにわたる10個のPDF解析ツールを比較し、テキスト抽出と表検出を評価して、文書タイプ別のツールの強みを特定します。

ABSTRACT

PDF is one of the most prominent data formats, making PDF parsing crucial for information extraction and retrieval, particularly with the rise of RAG systems. While various PDF parsing tools exist, their effectiveness across different document types remains understudied, especially beyond academic papers. Our research aims to address this gap by comparing 10 popular PDF parsing tools across 6 document categories using the DocLayNet dataset. These tools include PyPDF, pdfminer-six, PyMuPDF, pdfplumber, pypdfium2, Unstructured, Tabula, Camelot, as well as the deep learning-based tools Nougat and Table Transformer(TATR). We evaluated both text extraction and table detection capabilities. For text extraction, PyMuPDF and pypdfium generally outperformed others, but all parsers struggled with Scientific and Patent documents. For these challenging categories, learning-based tools like Nougat demonstrated superior performance. In table detection, TATR excelled in the Financial, Patent, Law & Regulations, and Scientific categories. Table detection tool Camelot performed best for tender documents, while PyMuPDF performed superior in the Manual category. Our findings highlight the importance of selecting appropriate parsing tools based on document type and specific tasks, providing valuable insights for researchers and practitioners working with diverse document sources.

研究の動機と目的

• 最先端のPDFパーサが多様な文書カテゴリでどれだけ正確にテキストを抽出できるかを、大規模で多領域のデータセットを用いて評価する。
• ルールベースと学習ベースのパーサの文書タイプ別の表検出能力を評価する。
• 文書カテゴリが抽出品質に与える影響を分析し、ツールごとの強みと弱みを特定する。
• 文書タイプと特定の抽出タスク（テキスト対表抽出）に基づいてパーサを選択するための指針を提供する。

提案手法

• 六つの文書カテゴリ（Financial, Manuals, Scientific, Laws & Regulations, Patents, Government Tenders）について DocLayNet をグラウンドトゥルースとして用いる。
• グラウンドトゥルースのテキストは、トークンの順序付けプロセスを定義した DocLayNet JSON 注釈から生成する。
• Levenshtein ベースの F1、BLEU-4、および局所アラインメント指標を用いてテキスト抽出を評価する。
• Bounding box が利用可能かどうかに応じて、Jaccard/IoU の閾値を用いて表検出を評価する。
• 10 個のオープンソースツール（ルールベースと学習ベース）をテキスト抽出と表抽出のタスクで比較する。
• グラウンドトゥルースとパーサの出力を整列させ、カテゴリ別の性能表を作成する。

実験結果

リサーチクエスチョン

• RQ1 異なる文書カテゴリに対して、どのPDFパーサが全体的に最良のテキスト抽出品質を提供するか。
• RQ2 科学論文や特許のような難易度の高いカテゴリで、学習ベースのツールはルールベースのパーサとどう比較されるか。
• RQ3 文書タイプを横断して表検出で最も性能を発揮するツールはどれで、文書カテゴリは性能にどのような影響を与えるか。
• RQ4 文書カテゴリと特定の抽出タスク（テキスト対表抽出）に基づいてパーサを選択する際の推奨は何か。

主な発見

Category	Parser	F1 (↑)	Precision (↑)	Recall (↑)	BLEU (↑)	Local Alignment (↑)
Financial	pdfminer.six	0.9979	0.9649	0.9912	0.8191	0.6827
Financial	pdfplumber	0.9568	0.9785	0.9361	0.8159	0.7029
Financial	PyMuPDF	0.9825	0.9760	0.9892	0.9348	0.9178
Financial	pypdf	0.9542	0.9612	0.9474	0.8321	0.8978
Financial	pypdfium	0.9885	0.9909	0.9860	0.9457	0.9285
Financial	Unstructured	0.9767	0.9649	0.9887	0.9371	0.8371
Law	pdfminer.six	0.9814	0.9796	0.9832	0.8748	0.7996
Law	pdfplumber	0.9791	0.9815	0.9768	0.8236	0.6506
Law	PyMuPDF	0.9831	0.9857	0.9806	0.9232	0.9354
Law	pypdf	0.9698	0.9746	0.9650	0.8732	0.9358
Law	pypdfium	0.9839	0.9912	0.9768	0.9183	0.9228
Law	Unstructured	0.9807	0.9798	0.9816	0.8751	0.8359
Manual	pdfminer.six	0.9857	0.9882	0.9832	0.8950	0.8617
Manual	pdfplumber	0.8817	0.9672	0.8100	0.7386	0.8432
Manual	PyMuPDF	0.9860	0.9886	0.9835	0.9213	0.9317
Manual	pypdf	0.9601	0.9765	0.9442	0.8645	0.9343
Manual	pypdfium	0.9868	0.9908	0.9829	0.9290	0.9311
Manual	Unstructured	0.9843	0.9893	0.9794	0.8913	0.8835
Patent	pdfminer.six	0.8703	0.9672	0.7910	0.5301	0.6141
Patent	pdfplumber	0.9469	0.9538	0.9401	0.6070	0.5459
Patent	PyMuPDF	0.9732	0.9726	0.9737	0.8042	0.8507
Patent	pypdf	0.8548	0.9291	0.7916	0.6117	0.7842
Patent	pypdfium	0.9692	0.9709	0.9676	0.8020	0.8108
Patent	Unstructured	0.8704	0.9672	0.7911	0.4939	0.5873
Scientific	pdfminer.six	0.8510	0.8918	0.8137	0.6577	0.7222
Scientific	pdfplumber	0.7644	0.8584	0.6890	0.5719	0.6446
Scientific	PyMuPDF	0.8395	0.8970	0.7888	0.6962	0.8088
Scientific	pypdf	0.7641	0.8810	0.6746	0.5832	0.7968
Scientific	pypdfium	0.8526	0.9046	0.8063	0.7089	0.8004
Scientific	Unstructured	0.8514	0.8941	0.8127	0.6625	0.7407
Tender	pdfminer.six	0.9908	0.9915	0.9901	0.8971	0.8333
Tender	pdfplumber	0.9834	0.9868	0.9801	0.8932	0.8513
Tender	PyMuPDF	0.9929	0.9955	0.9904	0.9521	0.9433
Tender	pypdf	0.9691	0.9565	0.9821	0.8544	0.9404
Tender	pypdfium	0.9888	0.9946	0.9831	0.9385	0.9315
Tender	Unstructured	0.9899	0.9915	0.9884	0.8890	0.8580

• PyMuPDF および pypdfium は、いくつかのカテゴリで優れたテキスト抽出性能を提供することが多い。
• Nougat（学習ベース）は Scientific 文書でルールベースのパーサよりも優れている。
• 表検出において Table Transformer (TATR) は Financial、Patent、Law & Regulations、Scientific カテゴリで優れており、Camelot は Government Tenders、PyMuPDF は Manual 文書で最も良い性能を示す。
• Scientific および Patent 文書では複数のパーサが難を抱えるが、学習ベースのアプローチはこれらの難しいカテゴリで顕著な改善を提供する。
• 全体として、ツールの性能は文書タイプと抽出タスク（テキスト対表）に強く依存する。