[論文レビュー] Kleister: A novel task for Information Extraction involving Long Documents with Complex Layout

Filip Graliński, Tomasz Stanisławek+6 more|arXiv (Cornell University)|Mar 4, 2020

Topic Modeling参考文献 14被引用数 22

ひとこと要約

本稿では、契約書や寄付報告書など、長く複雑なレイアウトを持つドキュメントを対象とした、テキスト的特徴と構造的レイアウト特徴を統合した新しい情報抽出タスク「Kleister」を紹介する。本研究では、Kleister-NDA および Kleister-Charity の2つの新規データセットを提案し、NLPモデル（Flair、BERT、RoBERTa）を用いたテキスト中心のベースラインを評価した。その結果、OCRのノイズとレイアウトの複雑さが性能を著しく低下させることを示し、純粋なテキスト処理を超えるマルチモーダルアプローチの必要性が浮き彫りになった。

ABSTRACT

State-of-the-art solutions for Natural Language Processing (NLP) are able to capture a broad range of contexts, like the sentence-level context or document-level context for short documents. But these solutions are still struggling when it comes to longer, real-world documents with the information encoded in the spatial structure of the document, such as page elements like tables, forms, headers, openings or footers; complex page layout or presence of multiple pages. To encourage progress on deeper and more complex Information Extraction (IE) we introduce a new task (named Kleister) with two new datasets. Utilizing both textual and structural layout features, an NLP system must find the most important information, about various types of entities, in long formal documents. We propose Pipeline method as a text-only baseline with different Named Entity Recognition architectures (Flair, BERT, RoBERTa). Moreover, we checked the most popular PDF processing tools for text extraction (pdf2djvu, Tesseract and Textract) in order to analyze behavior of IE system in presence of errors introduced by these tools.

研究の動機と目的

• 契約書や報告書のような、複雑なレイアウトを持つ現実世界の長大なドキュメントから構造化された情報を抽出するためのNLPシステムにおけるギャップを埋める。
• レイアウトの複雑さ、OCRのノイズ、ドキュメントレベルの推論、正規化を含む現実世界の課題を反映した、新しいベンチマークタスク「Kleister」を考案する。
• レイアウトに配慮した情報抽出およびOCRに強い性能を発揮する必要がある状況において、テキスト中心のNLPモデルの限界を評価する。
• 訓練および評価に適した詳細なアノテーションを備えた、公開可能なデータセット（Kleister-NDA および Kleister-Charity）を提供する。
• 現在の最先端のNLPモデルが、BERT や RoBERTa といった高度なアーキテクチャを用いても、レイアウトやOCRのアーチファクトに直面した際に一般化できないことを実証する。

提案手法

• 長大なドキュメントに含まれる複雑なレイアウト（表、フォーム、ヘッダー、フッターなど）を対象とし、日付、住所、組織名などの構造化されたエンティティを抽出することを目的とした、新しいタスク「Kleister」を提案する。
• Kleister-NDA（200件の法的契約書）および Kleister-Charity（200件の寄付報告書）の2つの新規データセットを構築し、エンティティタイプと正規化値をアノテートする。
• テキスト中心のベースラインとしてパイプライン法を採用し、PDFツール（Tesseract、Textract、pdf2djvu）を用いて抽出したテキストに命名エンティティ認識モデル（Flair、BERT、RoBERTa）を適用する。
• 異なるPDF抽出ツールの性能を評価することで、OCRエラーが後続のIEタスクに与える影響を分析する。
• アノテーションおよび評価プロセスにおいて、ドキュメントレベルの文脈、ビジネス論理（例：曖昧なエンティティ参照の解消）、正規化ルール（例：日付形式、「Ltd」対「Limited」）を統合する。
• ドキュメントのレイアウト複雑さを、シンプル、二段組み、メール形式、プレーンテキスト、図版や表を含むフォーム／レポート形式の5つのカテゴリに分類して分析する。

実験結果

リサーチクエスチョン

• RQ1 最先端のテキスト中心のNLPモデルは、OCRアーチファクトおよびレイアウト依存のエンティティ関係を有する長大で複雑なレイアウトのドキュメントに対して、どの程度の性能を示すか？
• RQ2 一般的なPDF抽出ツール（Tesseract、Textract、pdf2djvu）は、テキスト入力の品質をどの程度損ない、その後続のIEタスクに影響を与えるか？
• RQ3 レイアウトの複雑さとOCRのノイズは、現実世界のビジネスドキュメントにおける名前付きエンティティ認識および正規化の正確性に、どの程度の影響を与えるか？
• RQ4 複数の住所の識別や契約書における時間帯の共起を解釈するなど、ドキュメントレベルの推論における主な課題は何か？
• RQ5 テキスト中心のベースラインモデルは、文単位の文脈を超えて空間的・構造的理解を必要とするタスクにおいて、堅牢な性能を達成できるか？

主な発見

• Flair、BERT、RoBERTa などのテキスト中心のNLPモデルは、Kleisterタスクにおいて限定的な性能にとどまることから、複雑なドキュメント理解には純粋なテキスト入力に依存するのでは不十分であることが示された。
• OCRの品質が性能に顕著に悪影響を及ぼすことが判明した。特に、手書き文字、低品質スキャン、逆さまのページが含まれるドキュメント（Kleister-Charityデータセットで顕著）では顕著に性能が低下した。
• 二段組みレイアウト、表、フォームなどのレイアウトの複雑さは、高度な文脈エンコーダーを備えたテキスト中心のモデルですら解消できない大きな課題をもたらすことが判明した。
• 日付形式のばらつき（例：「October 24, 2012」対「10/24/12」）や組織名のバリエーション（例：「Ltd」対「Limited」）といった正規化の問題が、モデルの正確性を低下させ、明示的な処理が不可欠であることが明らかになった。
• パイプラインベースライン法の分析から、PDF抽出ツールの選択によって性能に顕著な差が生じることが判明した。Tesseract や Textract は、レイアウトに敏感な文脈において、pdf2djvu よりも多くの誤りを含んでいた。
• 複数の選択肢の中から正しい住所（登録住所対本店）を特定するようなドキュメントレベルの推論は、テキスト中心のモデルではうまく処理できないことが判明し、レイアウトに配慮したモデリングの必要性が強調された。