[논문 리뷰] TRIE++: Towards End-to-End Information Extraction from Visually Rich Documents

Zhanzhan Cheng, Peng Zhang외 7명|arXiv (Cornell University)|2022. 07. 14.

Handwritten Text Recognition Techniques인용 수 4

한 줄 요약

이 논문은 다중모달 컨텍스트 블록을 통해 텍스트 읽기와 정보 추출을 공동 최적화함으로써, 다양한 문서 유형과 레이아웃에서 상태의 기준을 충족하는 시각적으로 rich한 문서(VRD) 정보 추출을 위한 통합형 엔드 투 엔드 프레임워크인 TRIE++를 제안한다. 시각적, 텍스트적, 레이아웃 특징과 사전 학습된 언어 모델 지식을 융합함으로써, 기존의 두 단계 방법보다 뚜렷이 뛰어난 성능을 달성한다.

ABSTRACT

Recently, automatically extracting information from visually rich documents (e.g., tickets and resumes) has become a hot and vital research topic due to its widespread commercial value. Most existing methods divide this task into two subparts: the text reading part for obtaining the plain text from the original document images and the information extraction part for extracting key contents. These methods mainly focus on improving the second, while neglecting that the two parts are highly correlated. This paper proposes a unified end-to-end information extraction framework from visually rich documents, where text reading and information extraction can reinforce each other via a well-designed multi-modal context block. Specifically, the text reading part provides multi-modal features like visual, textual and layout features. The multi-modal context block is developed to fuse the generated multi-modal features and even the prior knowledge from the pre-trained language model for better semantic representation. The information extraction part is responsible for generating key contents with the fused context features. The framework can be trained in an end-to-end trainable manner, achieving global optimization. What is more, we define and group visually rich documents into four categories across two dimensions, the layout and text type. For each document category, we provide or recommend the corresponding benchmarks, experimental settings and strong baselines for remedying the problem that this research area lacks the uniform evaluation standard. Extensive experiments on four kinds of benchmarks (from fixed layout to variable layout, from full-structured text to semi-unstructured text) are reported, demonstrating the proposed method's effectiveness. Data, source code and models are available.

연구 동기 및 목표

• 텍스트 읽기와 정보 추출를 별개의 상호작용 없는 작업으로 간주하는 기존의 두 단계 VRD 시스템의 한계를 해결한다.
• 시각적으로 rich한 문서에 대한 통합된 평가 기준의 부재를 해결하기 위해 레이아웃과 텍스트 유형 차원에서 VRD를 정의하고 그룹화한다.
• 텍스트 읽기와 정보 추출 간 상호 감시를 가능하게 하여 전역 최적화를 달성하는 통합형 엔드 투 엔드 학습 가능한 프레임워크를 개발한다.
• 재현 가능한 연구를 촉진하기 위해 고정/변동 레이아웃, 구조적/반구조적 텍스트를 포함한 네 가지 문서 유형에 대한 표준화된 벤치마크와 강력한 베이스라인을 제공한다.
• 실세계 문서의 변형에 대한 내구성을 향상시키기 위해 외부 OCR 엔진에 의존하는 것을 줄이고 도메인 특화의 엔드 투 엔드 시스템을 학습한다.

제안 방법

• 다중모달 컨텍스트 블록을 사용하여 텍스트 읽기와 정보 추출을 하나의 엔드 투 엔드 프레임워크로 통합한다.
• 문서 이미지에서 다중모달 특징을 추출한다: 시각적 특징은 CNN 또는 ViT를 통해, 텍스트적 특징은 트랜스포머 기반 인코더를 통해, 레이아웃 특징은 바운딩 박스 좌표에서 유도한다.
• 사전 학습된 언어 모델 지식을 다중모달 컨텍스트 블록에 통합하여 의미 표현과 맥락 이해를 향상시킨다.
• 정보 추출 손실이 텍스트 읽기 모듈을, 반대로 텍스트 읽기 모듈의 손실이 정보 추출 모듈을 지도할 수 있도록 하여, 역전파를 통해 엔드 투 엔드 백프로파게이션을 가능하게 한다. 이를 통해 상호 최적화를 실현한다.
• 공통된 인코더 아키텍처를 사용하여 문서 특징을 처리하고, 스파닝 기반 헤드 예측을 통해 엔티티 예측을 생성한다.
• 검출 및 레이블링 지도 신호를 모두 활용하여 전체 시스템을 공동 최적화로 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 다중모달 특징 융합을 통한 텍스트 읽기와 정보 추출의 공동 최적화가 시각적으로 rich한 문서에서 성능 향상에 기여하는가?
• RQ2 시각적, 텍스트적, 레이아웃 특징과 사전 학습된 언어 모델 지식의 통합이 문서 이해에서 의미 표현을 어떻게 향상시키는가?
• RQ3 두 단계 파ipeline에 비해 엔드 투 엔드 학습 전략이 실세계 문서의 변형에 대해 오류 전파를 얼마나 줄이고 내구성을 향상시키는가?
• RQ4 레이아웃과 텍스트 유형 기반의 다양한 문서 유형이 엔드 투 엔드 정보 추출 시스템의 성능에 어떤 영향을 미치는가?
• RQ5 표준화된 평가 프로토콜을 갖춘 통합 벤치마크 프레임워크는 VRD 연구의 재현 가능성과 발전을 어떻게 향상시키는가?

주요 결과

• TRIE++는 고정 및 변동 레이아웃 문서에 모두 적용 가능한 네 가지 벤치마크 카테고리에서 최신 기준 성능을 달성한다. 이는 구조적 및 반구조적 텍스트를 포함한다.
• 엔드 투 엔드 학습 전략은 텍스트 읽기와 정보 추출 성능을 모두 뚜렷이 향상시키며, 카테고리 II, III, IV에서 텍스트 인식 모듈이 주요 성능 저하 요인임을 드러낸다.
• 다중모달 컨텍스트 블록은 시각적, 텍스트적, 레이아웃 특징을 효과적으로 융합하여, 특히 복잡한 레이아웃과 장문의 텍스트 시퀀스에서의 엔티티 인식 성능을 향상시킨다.
• 텍스트 읽기와 정보 추출 간 상호 감시를 통해 오류 누적을 줄이고, 이전의 두 단계 접근 방식을 뛰어넘는 성능 향상을 달성한다.
• 다양한 추상화 실험을 통해 사전 학습된 언어 모델 지식과 레이아웃 인식 특징의 통합이 성능 향상에 기여한다는 점을 확인한다.
• 제안된 벤치마크와 강력한 베이스라인은 VRD 연구에서의 통일된 평가 기준의 부재 문제를 해결하는 표준화된 평가 플랫폼을 제공한다.