[논문 리뷰] The Law of Large Documents: Understanding the Structure of Legal Contracts Using Visual Cues

Allison Hegel, Marina Shah외 3명|arXiv (Cornell University)|2021. 07. 16.

Artificial Intelligence in Law인용 수 4

한 줄 요약

이 논문은 스캔된 법적 계약서에서 OCR를 통해 유도된 시각적 및 구조적 단서—예를 들어 레이아웃, 폰트, 들여쓰기, 페이지 구분선—를 활용하여 장문의 문서 이해를 향상시키는 방법을 제안한다. 이 접근법은 트랜스포머 기반의 자연어 처리 모델과 이러한 시각적 특징을 통합함으로써 CUAD 데이터셋을 사용하여 네 가지 작업(문서 분할, 실체 추출, 속성 분류)에서 기존의 분할 전략을 능가한다. 이는 장문이고 복잡한 법적 문서에서 시각적 메타데이터가 정확도를 크게 향상시킨다는 것을 보여준다.

ABSTRACT

Large, pre-trained transformer models like BERT have achieved state-of-the-art results on document understanding tasks, but most implementations can only consider 512 tokens at a time. For many real-world applications, documents can be much longer, and the segmentation strategies typically used on longer documents miss out on document structure and contextual information, hurting their results on downstream tasks. In our work on legal agreements, we find that visual cues such as layout, style, and placement of text in a document are strong features that are crucial to achieving an acceptable level of accuracy on long documents. We measure the impact of incorporating such visual cues, obtained via computer vision methods, on the accuracy of document understanding tasks including document segmentation, entity extraction, and attribute classification. Our method of segmenting documents based on structural metadata out-performs existing methods on four long-document understanding tasks as measured on the Contract Understanding Atticus Dataset.

연구 동기 및 목표

• 표준 NLP 모델(예: BERT)의 컨텍스트 길이를 초과하는 장문의 법적 계약서를 이해하는 데 도전하는 것.
• 구조적 및 맥락 정보를 버리는 표준 문서 분할 방법의 한계를 극복하는 것.
• OCR에서 유도된 시각적 단서—예를 들어 레이아웃, 폰트, 페이지 구분선—가 장문의 법적 텍스트에서 문서 이해를 향상시키는지 조사하는 것.
• 시각적 메타데이터를 딥 러닝 모델과 통합하여 법적 계약서에서의 후행 NLP 작업을 향상시키는 방법을 개발하고 평가하는 것.
• 시각적 특징이 법적 문서에서 페이지 구분선, 머리글자, 일관되지 않은 포맷으로 인한 오류를 줄이는 데 효과적인지 입증하는 것.

제안 방법

• 문서의 텍스트 경계 상자, 폰트 크기, 스타일, 정렬 방식, 들여쓰기 수준 등을 포함한 풍부한 OCR 메타데이터를 스캔된 법적 계약서에서 추출한다.
• 이 OCR 메타데이터를 사용하여 문서의 구조를 재구성하고 섹션 경계를 추론함으로써 간단한 토큰 기반 분할 방식을 대체한다.
• 공간적 및 스타일적 메타데이터를 추가 입력 임베딩으로 인코딩하여 BERT 기반 트랜스포머 모델에 시각적 특징을 통합한다.
• 문서 분할, 실체 추출, 속성 분류, 스팬 예측의 네 가지 후행 작업에서 모델을 훈련하고 미세조정한다.
• 고정된 윈도우 또는 슬라이딩 토큰 방식이 아닌, 시각적 단서에 기반한 구조적 분할 전략을 적용하여 문서 수준의 맥락을 유지한다.
• 문서의 구조적 정보를 무시하는 기준선 방법과 비교하여, 계약서 이해 태스크에 대한 성능을 CUAD(Contract Understanding Atticus Dataset)에서 평가한다.

실험 결과

연구 질문

• RQ1 OCR에서 유도된 시각적 단서가 장문의 법적 계약서에서 문서 이해의 정확도에 얼마나 기여하는가?
• RQ2 레이아웃 및 포맷 정보를 통합할 경우 문서 분할 및 스팬 예측 작업에서 성능에 어떤 영향을 미치는가?
• RQ3 시각적 특징이 법적 문서에서 페이지 구분선, 머리글자, 푸터, 일관되지 않은 포맷으로 인한 오류를 줄일 수 있는가?
• RQ4 문서 길이가 이해 작업의 어려움에 어떤 영향을 미치며, 시각적 모델링이 이 영향을 완화하는가?
• RQ5 구조 인식 기반의 분할 전략이 장문의 법적 문서에서 표준 슬라이딩 윈도우 또는 고정 분할 접근 방식을 능가하는가?

주요 결과

• 제안된 방법은 평가한 네 가지 작업—문서 분할, 실체 추출, 속성 분류, 스팬 예측—모두에서 기존의 분할 전략을 능가한다.
• OCR에서 유도된 시각적 단서를 통합함으로써 모델의 정확도가 크게 향상되며, 특히 페이지 구분선과 다중 줄 스팬과 같은 복잡한 포맷 처리에 유의미한 기여를 한다.
• 장문의 문서에서 문서 수준의 맥락을 유지하기 위해 시각적 메타데이터를 활용함으로써, CUAD 데이터셋에서 최신 기술 성능(SOTA)을 달성한다.
• 시각적 특징은 페이지 구분선과 불필요한 텍스트(예: 머리글자, 푸터)로 인한 오류를 줄이며, 예를 들어 페이지 경계를 넘어서도 'State of Massachusetts'를 올바르게 식별하는 데 기여한다.
• 연구는 문서 길이가 작업의 어려움을 증가시키지만, 시각적 단서가 이 영향을 완화시켜 더 긴 계약서에서도 안정성을 향상시킨다는 것을 정량적으로 입증한다.
• 제거 분석(ablation study)을 통해 시각적 특징이 성능에 의미 있는 기여를 한다는 것이 확인되었으며, 텍스트 전용 기준선 대비 뚜렷한 정확도 향상이 관찰되었다.