[논문 리뷰] Kleister: Key Information Extraction Datasets Involving Long Documents with Complex Layouts

Tomasz Stanisławek, Filip Graliński외 6명|arXiv (Cornell University)|2021. 05. 12.

Advanced Text Analysis Techniques참고 문헌 22인용 수 63

한 줄 요약

이 논문은 레이아웃이 복잡한 장문의 공식 문서에서 핵심 정보 추출(Key Information Extraction, KIE)을 위한 두 가지 새로운 데이터셋인 Kleister NDA와 Kleister Charity를 소개한다. 이 데이터셋은 총 540건의 NDA 계약서와 2,788건의 기부 보고서를 포함하며, 모두 64,872페이지, 23,772개의 엔티티를 포함한다. 최고 성능을 보인 모델은 각각 81.77%와 83.57%의 F1 스코어를 기록하여, 표준 NER 작업을 넘어서 레이아웃 인식 및 문서 수준의 정보 추출이 여전히 도전적인 과제임을 시사한다.

ABSTRACT

The relevance of the Key Information Extraction (KIE) task is increasingly important in natural language processing problems. But there are still only a few well-defined problems that serve as benchmarks for solutions in this area. To bridge this gap, we introduce two new datasets (Kleister NDA and Kleister Charity). They involve a mix of scanned and born-digital long formal English-language documents. In these datasets, an NLP system is expected to find or infer various types of entities by employing both textual and structural layout features. The Kleister Charity dataset consists of 2,788 annual financial reports of charity organizations, with 61,643 unique pages and 21,612 entities to extract. The Kleister NDA dataset has 540 Non-disclosure Agreements, with 3,229 unique pages and 2,160 entities to extract. We provide several state-of-the-art baseline systems from the KIE domain (Flair, BERT, RoBERTa, LayoutLM, LAMBERT), which show that our datasets pose a strong challenge to existing models. The best model achieved an 81.77% and an 83.57% F1-score on respectively the Kleister NDA and the Kleister Charity datasets. We share the datasets to encourage progress on more in-depth and complex information extraction tasks.

연구 동기 및 목표

• 장문의 공식 문서에서 레이아웃이 복잡한 Key Information Extraction(KIE)를 위한 대규모이고 현실적인 벤치마크의 부족을 해결하기 위해.
• 기존의 공개 KIE 데이터셋과 실제 비즈니스 문서 처리 요구사항 사이의 격차를 메우기 위해, 특히 계약서와 재무 보고서에 초점을 맞추기 위해.
• OCR 노이즈와 문서 길이를 포함한 현실 조건에서 레이아웃 인식 기반의 문서 수준 정보 추출에 대해 최첨단 NLP 모델을 평가하기 위해.
• 수동 주석 처리의 노력은 줄이고도 높은 품질의 엔티티 주석을 유지할 수 있는 준지도 학습 기반의 데이터 수집 방법론을 제공하기 위해.

제안 방법

• 데이터셋은 공개 리포지토리에서 자동으로 문서를 확보하고 핵심 엔티티에 대해 대상 지정된 인간 주석을 결합한 준지도 학습 방법론을 사용하여 수집되었다.
• Kleister NDA 데이터셋의 경우, 레이아웃 구조를 유지하기 위해 전용 도구인 pdf2djvu를 사용하여 데스크톱에서 생성된 PDF를 처리하였으며, 기부 보고서 데이터셋은 스캔된 입력 자료이기 때문에 OCR이 필요했다.
• Azure Cognitive Services, Tesseract, Textract, pdf2djvu 등 여러 PDF 처리 도구를 평가하였으며, 각 도구는 모델 성능에 상당한 영향을 미쳤다.
• Flair, BERT, RoBERTa, LayoutLM, LAMBERT와 같은 베이스라인 모델을 텍스트 전용 및 레이아웃 인식 기능을 모두 사용하여 두 데이터셋에서 훈련 및 평가하였다.
• 규칙 기반 정규 표현식 기반의 자동 태깅 메커니즘을 사용하여 학습 데이터를 생성하였으며, 이후 인간 주석 처리된 구간으로 보완하여 모델 훈련을 수행하였다.
• 정규화 작업은 명시적으로 모델링되었으며, 예를 들어 문맥에서 통화 단위(천/백만 등)를 유추하는 것과 같은 작업은 재무 엔티티 처리에 매우 중요했다.

실험 결과

연구 질문

• RQ1 문서 길이와 레이아웃 복잡도는 최첨단 KIE 모델의 성능에 어떤 영향을 미치는가?
• RQ2 OCR 품질과 PDF 처리 파이프라인 선택이 실제 KIE 작업의 모델 성능에 어느 정도의 영향을 미치는가?
• RQ3 레이아웃 인식 모델인 LayoutLM과 LAMBERT는 복잡한 문서 이해에서 표준 순차 모델보다 뛰어나게 성능을 내는가?
• RQ4 정규화 작업(예: 통화 단위 유추)은 KIE 성능에 어떤 영향을 미치며, 이는 모델 설계에 어떤 영향을 미치는가?
• RQ5 장문의 공식 문서에서 핵심 엔티티를 추출할 때 텍스트, 구조, 레이아웃 특징의 상대적 기여도는 어떠한가?

주요 결과

• 최고의 성능을 보인 모델인 LAMBERT는 Kleister Charity 데이터셋에서 83.57%의 F1 스코어를 기록하였고, Kleister NDA 데이터셋에서는 81.77%를 기록하였으며, SROIE와 같은 더 단순한 데이터셋의 성능과 비교해도 뚜렷이 낮았다.
• 레이아웃 인식 모델(LAMBERT, LayoutLM)은 표준 순차 모델(Flair, BERT, RoBERTa)보다 뛰어난 성능을 보였으며, 2차원 레이아웃 특징의 중요성을 입증하였다.
• OCR 품질은 상당한 영향을 미쳤다: 상용 도구인 Azure Cognitive Services와 Textract는 Tesseract보다 뛰어났으며, Tesseract 출력 데이터로 훈련되지 않은 1차원 모델의 경우 특히 두드러졌다.
• 모든 모델에서 장문의 문서일수록 일관되게 F1 스코어가 낮아졌으며, 이는 문서 길이 증가에 따라 성능 저하가 발생함을 시사한다.
• 정규화 작업—예를 들어 통화 단위 유추—는 매우 중요했으며, 일반적으로 문맥 인식 기반 추론이 필요했고, 심지어 최고의 모델조차도 이를 어려워했다.
• 자동 태깅 메커니즘은 인간 주석보다 정확도가 떨어지지만, 효과적인 사전 훈련을 가능하게 했으며, 규칙 기반 히우리스틱만으로는 약어로 표현된 조직명과 같은 복잡한 엔티티 처리에는 부족함을 드러냈다.