[論文レビュー] The Law of Large Documents: Understanding the Structure of Legal Contracts Using Visual Cues

Allison Hegel, Marina Shah+3 more|arXiv (Cornell University)|Jul 16, 2021

Artificial Intelligence in Law被引用数 4

ひとこと要約

本論文は、レイアウト、フォント、インデント、ページ区切りなどのOCR由来の視覚的および構造的特徴を活用することで、法的契約文書における長文ドキュメント理解を向上させる手法を提案する。変換器ベースのNLPモデルとこれらの視覚的特徴を統合することで、CUADデータセットを用いた4つのタスク（ドキュメントセグメンテーション、エンティティ抽出、属性分類）において、従来のセグメンテーション戦略を上回る性能を発揮し、視覚的メタデータが長く複雑な法的文書における精度を顕著に向上させることを示している。

ABSTRACT

Large, pre-trained transformer models like BERT have achieved state-of-the-art results on document understanding tasks, but most implementations can only consider 512 tokens at a time. For many real-world applications, documents can be much longer, and the segmentation strategies typically used on longer documents miss out on document structure and contextual information, hurting their results on downstream tasks. In our work on legal agreements, we find that visual cues such as layout, style, and placement of text in a document are strong features that are crucial to achieving an acceptable level of accuracy on long documents. We measure the impact of incorporating such visual cues, obtained via computer vision methods, on the accuracy of document understanding tasks including document segmentation, entity extraction, and attribute classification. Our method of segmenting documents based on structural metadata out-performs existing methods on four long-document understanding tasks as measured on the Contract Understanding Atticus Dataset.

研究の動機と目的

• BERTのような標準的なNLPモデルのコンテキスト長を超える長大な法的契約文書の理解という課題に対処する。
• 構造的および文脈的情報を失う可能性がある標準的なドキュメントセグメンテーション手法の限界を克服する。
• OCRから得られる視覚的特徴（レイアウト、フォント、ページ区切りなど）が、長大な法的テキストにおけるドキュメント理解を向上させるかどうかを調査する。
• 視覚的メタデータを深層学習モデルと統合する手法を開発・評価し、法的契約文書における下流NLPタスクの性能を向上させる。
• 視覚的特徴が、法的文書におけるページ区切り、ヘッダー、不規則なフォーマットに起因する誤りを低減する効果があることを実証する。

提案手法

• スキャン済みの法的契約文書から、テキストのバウンディングボックス、フォントサイズ、スタイル、揃え方、インデントレベルなどを含む包括的なOCRメタデータを抽出する。
• このOCRメタデータを用いてドキュメント構造を再構築し、単純なトークンベースのセグメンテーションに代わってセクション境界を推定する。
• 空間的およびスタイル的メタデータを追加の入力埋め込みとしてエンコードすることで、BERTベースの変換器モデルに視覚的特徴を統合する。
• ドキュメントセグメンテーション、エンティティ抽出、属性分類、スパン予測の4つの下流タスクを対象に、モデルを訓練および微調整する。
• 固定ウィンドウまたはスライディングトークンに依存するのではなく、視覚的特徴に基づく構造的セグメンテーション戦略を採用し、ドキュメントレベルの文脈を保持する。
• 視覚的構造を無視するベースライン手法と比較して、Contract Understanding Atticus Dataset (CUAD) で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 OCR由来の視覚的特徴は、長大な法的契約文書におけるドキュメント理解の精度をどの程度向上させるか？
• RQ2 レイアウトおよびフォーマット情報の統合は、ドキュメントセグメンテーションおよびスパン予測タスクの性能にどのように影響するか？
• RQ3 視覚的特徴は、ページ区切り、ヘッダー、フッター、不規則なフォーマットに起因する誤りを低減できるか？
• RQ4 ドキュメント長が理解タスクの難易度に与える影響は何か？視覚的モデリングはこの影響を緩和できるか？
• RQ5 構造に配慮したセグメンテーション戦略は、長大な法的文書において、標準的なスライディングウィンドウまたは固定セグメンテーションアプローチを上回るか？

主な発見

• 提案手法は、評価された4つのタスク（ドキュメントセグメンテーション、エンティティ抽出、属性分類、スパン予測）すべてにおいて、既存のセグメンテーション戦略を上回る性能を発揮した。
• OCR由来の視覚的特徴を統合することで、特にページ区切りや複数行スパンといった複雑なフォーマット処理において、モデルの精度が顕著に向上した。
• 視覚的メタデータを活用することで、長文ドキュメント全体の文脈を維持でき、CUADデータセットにおいて最先端の性能を達成した。
• 視覚的特徴は、ページ区切りや余分なテキスト（例：ヘッダー、フッター）に起因する誤りを低減し、たとえばページ境界をまたがる「State of Massachusetts」を正しく特定する能力を向上させた。
• 本研究では、ドキュメント長がタスクの難易度を高める要因であることを定量的に示したが、視覚的特徴がこの影響を緩和し、より長い契約文書に対しても耐性のある性能を実現した。
• アブレーションスタディの結果、視覚的特徴が性能に有意義に寄与しており、テキストのみのベースラインと比較して顕著な精度向上が確認された。