[論文レビュー] Kleister: Key Information Extraction Datasets Involving Long Documents with Complex Layouts

Tomasz Stanisławek, Filip Graliński+6 more|arXiv (Cornell University)|May 12, 2021

Advanced Text Analysis Techniques参考文献 22被引用数 63

ひとこと要約

本論文は、複雑なレイアウトを有する長大で形式的な文書からのキーデータ抽出（KIE）のための新しいデータセットである Kleister NDA および Kleister Charity を紹介する。これらのデータセットには、合計64,872ページ、23,772のエンティティを含む540件のNDA契約書および2,788件の慈善レポートが含まれる。最高性能を示したモデルは、それぞれ81.77%および83.57%のF1スコアを達成し、標準的なNERタスクをはるかに超えるレイアウトに配慮した文書レベルの情報抽出の難易度を示している。

ABSTRACT

The relevance of the Key Information Extraction (KIE) task is increasingly important in natural language processing problems. But there are still only a few well-defined problems that serve as benchmarks for solutions in this area. To bridge this gap, we introduce two new datasets (Kleister NDA and Kleister Charity). They involve a mix of scanned and born-digital long formal English-language documents. In these datasets, an NLP system is expected to find or infer various types of entities by employing both textual and structural layout features. The Kleister Charity dataset consists of 2,788 annual financial reports of charity organizations, with 61,643 unique pages and 21,612 entities to extract. The Kleister NDA dataset has 540 Non-disclosure Agreements, with 3,229 unique pages and 2,160 entities to extract. We provide several state-of-the-art baseline systems from the KIE domain (Flair, BERT, RoBERTa, LayoutLM, LAMBERT), which show that our datasets pose a strong challenge to existing models. The best model achieved an 81.77% and an 83.57% F1-score on respectively the Kleister NDA and the Kleister Charity datasets. We share the datasets to encourage progress on more in-depth and complex information extraction tasks.

研究の動機と目的

• 長大で形式的かつ複雑なレイアウトを有する文書におけるキーデータ抽出（KIE）のための、大規模かつ現実的なベンチマークの不足に対処すること。
• 既存の公開KIEデータセットと実際のビジネス文書処理ニーズの間のギャップを埋めること、特に契約書および財務報告書の文書処理を対象とする。
• OCRノイズや文書長さを含む現実的な条件下で、文書レベルかつレイアウトに配慮した情報抽出における最先端NLPモデルの評価を行うこと。
• 手作業によるエンティティのアノテーション作業を削減しながらも、高品質なエンティティアノテーションを維持できる半教師ありデータ収集手法を提供すること。

提案手法

• データセットは、公開リポジトリからの自動的文書収集と、重要なエンティティに対するターゲットドメインのヒューマンアノテーションを組み合わせた半教師あり手法によって収集された。
• Kleister NDAデータセットでは、生デジタルPDFをpdf2djvuなどの特別なツールで処理し、レイアウト構造を保持したが、慈善レポートデータセットはスキャン済み入力のためOCR処理が必要だった。
• Azure Cognitive Services、Tesseract、Textract、pdf2djvuの4つのPDF処理ツールを評価したが、それぞれがモデルのパフォーマンスに顕著な影響を与えた。
• Flair、BERT、RoBERTa、LayoutLM、LAMBERTといったベースラインモデルを、テキストのみとレイアウトに配慮した特徴の両方を用いて、両方のデータセットで訓練および評価した。
• トレーニングデータの生成に正規表現に基づくオートタギング機構を用い、その後、ヒューマンアノテートされたスパンでモデルの訓練を精緻化した。
• 通貨単位（例：千/百万）の推定といった正規化タスクを明示的にモデル化したが、これは財務エンティティの抽出において極めて重要であることが判明した。

実験結果

リサーチクエスチョン

• RQ1 文書長さとレイアウトの複雑さは、最先端KIEモデルのパフォーマンスにどのように影響するか？
• RQ2 OCRの品質とPDF処理パイプラインの選択が、現実のKIEタスクにおけるモデルパフォーマンスに及ぼす影響はどの程度か？
• RQ3 LayoutLM や LAMBERT といったレイアウトに配慮したモデルは、複雑な文書理解において標準的なシーケンスモデルを上回る性能を示せるか？
• RQ4 正規化タスク（例：通貨単位の推定）はKIEパフォーマンスにどのように影響し、モデル設計にどのような影響を与えるか？
• RQ5 長大で形式的な文書からキーエンティティを抽出する際、テキスト特徴、構造的特徴、レイアウト特徴の相対的寄与度はどの程度か？

主な発見

• 最高性能を示したモデル、LAMBERTは、Kleister Charityデータセットで83.57%のF1スコア、Kleister NDAデータセットで81.77%のF1スコアを達成したが、SROIEのような単純なデータセットのパフォーマンスより顕著に低かった。
• レイアウトに配慮したモデル（例：LAMBERT、LayoutLM）は、標準的なシーケンスモデル（Flair、BERT、RoBERTa）を上回った。これは2次元レイアウト特徴の重要性を示している。
• OCRの品質が顕著な影響を与えた：商業ツールのAzure Cognitive Services や Textract は、Tesseract よりも優れており、Tesseractの出力を学習していない1次元モデルでは特に顕著だった。
• 長大な文書は、すべてのモデルで一貫してF1スコアを低下させ、文書長さに伴うパフォーマンス低下が確認された。
• 正規化タスク（例：通貨単位の推定）は極めて重要であり、文脈に依存した推論を要するが、最高性能のモデルですら困難を示した。
• オートタギング機構は、ヒューマンアノテーションほど正確ではなかったが、有効な事前学習を可能にした。また、ルールベースのヒューリスティクスだけでは、省略形組織名のような複雑なエンティティの抽出には不十分であることが示された。