[논문 리뷰] Kleister: A novel task for Information Extraction involving Long Documents with Complex Layout

Filip Graliński, Tomasz Stanisławek외 6명|arXiv (Cornell University)|2020. 03. 04.

Topic Modeling참고 문헌 14인용 수 22

한 줄 요약

이 논문은 계약서 및 후원 보고서와 같은 장문이고 복잡한 레이아웃을 가진 문서를 대상으로 텍스트 및 구조적 레이아웃 특징을 통합한 새로운 정보 추출 작업인 Kleister를 소개한다. 두 개의 새로운 데이터셋(Kleister-NDA 및 Kleister-Charity)을 제안하고, NLP 모델(Flair, BERT, RoBERTa)을 사용한 텍스트 중심 기반 모델을 평가하며, OCR 노이즈와 레이아웃 복잡성이 성능을 크게 떨어뜨린다는 것을 입증하여 순수 텍스트 처리를 초월한 다중모달 접근의 필요성을 강조한다.

ABSTRACT

State-of-the-art solutions for Natural Language Processing (NLP) are able to capture a broad range of contexts, like the sentence-level context or document-level context for short documents. But these solutions are still struggling when it comes to longer, real-world documents with the information encoded in the spatial structure of the document, such as page elements like tables, forms, headers, openings or footers; complex page layout or presence of multiple pages. To encourage progress on deeper and more complex Information Extraction (IE) we introduce a new task (named Kleister) with two new datasets. Utilizing both textual and structural layout features, an NLP system must find the most important information, about various types of entities, in long formal documents. We propose Pipeline method as a text-only baseline with different Named Entity Recognition architectures (Flair, BERT, RoBERTa). Moreover, we checked the most popular PDF processing tools for text extraction (pdf2djvu, Tesseract and Textract) in order to analyze behavior of IE system in presence of errors introduced by these tools.

연구 동기 및 목표

• 장문의 실제 문서에서 복잡한 레이아웃을 가진 계약서나 보고서와 같은 복잡한 레이아웃을 가진 문서에서 구조화된 정보를 추출하기 위한 기존 NLP 시스템의 격차를 보완하기 위해.
• 레이아웃 복잡성, OCR 노이즈, 문서 수준의 추론, 정규화 등을 포함한 실제 도전 과제를 반영한 새로운 벤치마크 작업인 Kleister를 개발하기 위해.
• 레이아웃 인식 및 OCR에 강건한 정보 추출을 처리하는 데에 텍스트 중심 NLP 모델의 한계를 평가하기 위해.
• 강건한 정보 추출 시스템을 훈련 및 평가하기 위해 세부 주석이 포함된 공개 가능한 데이터셋(Kleister-NDA 및 Kleister-Charity)을 제공하기 위해.
• 현재 최첨단 NLP 모델이 BERT나 RoBERTa와 같은 고급 아키텍처를 사용하더라도 레이아웃 및 OCR 아티팩트에 직면할 경우 일반화에 실패한다는 것을 입증하기 위해.

제안 방법

• 표현된 엔티티(예: 날짜, 주소, 조직명)를 복잡한 레이아웃(예: 표, 양식, 머리글, 바닥글 포함)을 가진 장문의 문서에서 추출하는 데 중점을 둔 새로운 작업인 Kleister를 제안한다.
• Kleister-NDA(200건의 법적 계약서)와 Kleister-Charity(200건의 후원 보고서)로 구성된 두 개의 새로운 데이터셋을 구축하며, 엔티티 유형과 정규화된 값을 주석 처리한다.
• 텍스트 중심 기반 모델로 파ip라인 방법을 사용하며, PDF 도구(Tesseract, Textract, pdf2djvu)를 통해 추출된 텍스트에 대해 명명된 엔티티 인식 모델(Flair, BERT, RoBERTa)을 적용한다.
• 다양한 PDF 추출 도구의 성능을 평가하여 OCR 오류가 후속 정보 추출 작업에 미치는 영향을 분석한다.
• 문서 수준의 맥락, 비즈니스 로직(예: 애매한 엔티티 참조 해결), 정규화 규칙(예: 날짜 형식, 'Ltd' vs 'Limited')을 주석 처리 및 평가 과정에 통합한다.
• 레이아웃 복잡성은 간단한 레이아웃, 이중 열 레이아웃, 이메일 형식, 순수 텍스트, 그래픽 및 표, 양식이 포함된 레이아웃으로 분류하여 분석한다.

실험 결과

연구 질문

• RQ1 최첨단 텍스트 중심 NLP 모델은 OCR 아티팩트와 레이아웃 의존적 엔티티 관계를 가진 장문의 복잡한 레이아웃 문서에서 어떻게 성능을 내는가?
• RQ2 일반적인 PDF 추출 도구(Tesseract, Textract, pdf2djvu)는 텍스트 입력의 품질을 얼마나 떨어뜨리며, 후속 정보 추출 성능에 어떤 영향을 미치는가?
• RQ3 레이아웃 복잡성과 OCR 노이즈는 실제 비즈니스 문서에서 명명된 엔티티 인식 및 정규화의 정확성에 어떤 영향을 미치는가?
• RQ4 계약서에서 공존하는 시간 간격을 해석하거나 여러 주소 중에서 정확한 주소를 식별하는 등의 문서 수준의 추론에서의 주요 과제는 무엇인가?
• RQ5 문장 수준의 맥락을 초월한 공간적 및 구조적 이해가 필요한 작업에서 텍스트 중심 기반 모델이 강건한 성능을 달성할 수 있는가?

주요 결과

• 텍스트 중심 NLP 모델(Flair, BERT, RoBERTa)은 Kleister 작업에서 제한된 성능을 보이며, 복잡한 문서 이해를 위해서는 순수 텍스트 입력에 의존하는 것만으로는 부족하다는 것을 시사한다.
• OCR 품질이 성능을 크게 떨어뜨리며, 특히 손글씨, 낮은 해상도의 스캔, 뒤집힌 페이지가 포함된 문서에서 두드러진다. 이는 Kleister-Charity 데이터셋에서 확인되었다.
• 다중 열 레이아웃, 표, 양식 등 레이아웃 복잡성이 심각한 과제를 야기하며, 심지어 고급 문맥 인코더를 사용하더라도 텍스트 중심 모델이 이를 해결하지 못한다.
• 날짜 형식의 다양성(예: '10월 24일, 2012년' vs '10/24/12')이나 조직명 변형(예: 'Ltd' vs 'Limited')과 같은 정규화 문제는 모델 정확도를 낮추며, 명시적인 처리가 필요하다.
• 파이프라인 기반 모델은 PDF 추출 도구에 따라 성능이 크게 달라지며, Tesseract와 Textract는 레이아웃 민감한 맥락에서 pdf2djvu보다 더 많은 오류를 유발한다.
• 여러 주소 중에서 등록 주소 또는 본사 주소를 식별하는 등의 문서 수준의 추론은 텍스트 중심 모델이 잘 처리하지 못하며, 이는 레이아웃 인식 모델링의 필요성을 강조한다.