[논문 리뷰] TRIE: End-to-End Text Reading and Information Extraction for Document Understanding

Peng Zhang, Yunlu Xu외 6명|arXiv (Cornell University)|2020. 05. 27.

Handwritten Text Recognition Techniques참고 문헌 62인용 수 12

한 줄 요약

이 논문은 시각적으로 rich한 문서(VRDs)를 위한 텍스트 읽기와 정보 추출을 종합적으로 최적화하는 통합형 엔드 투 엔드 프레임워크인 TRIE를 제안한다. 다중모달 시각적 및 텍스트적 특징을 융합하고, 두 작업 간 상호 감독을 가능하게 함으로써, 구조적, 반구조적, 고정 레이아웃, 가변 레이아웃 문서를 포함한 다양한 문서 유형에서 최신 기술 수준의 정확도와 속도를 달성한다.

ABSTRACT

Since real-world ubiquitous documents (e.g., invoices, tickets, resumes and leaflets) contain rich information, automatic document image understanding has become a hot topic. Most existing works decouple the problem into two separate tasks, (1) text reading for detecting and recognizing texts in images and (2) information extraction for analyzing and extracting key elements from previously extracted plain text. However, they mainly focus on improving information extraction task, while neglecting the fact that text reading and information extraction are mutually correlated. In this paper, we propose a unified end-to-end text reading and information extraction network, where the two tasks can reinforce each other. Specifically, the multimodal visual and textual features of text reading are fused for information extraction and in turn, the semantics in information extraction contribute to the optimization of text reading. On three real-world datasets with diverse document images (from fixed layout to variable layout, from structured text to semi-structured text), our proposed method significantly outperforms the state-of-the-art methods in both efficiency and accuracy.

연구 동기 및 목표

• 문서 이해에서 분리된 텍스트 읽기 및 정보 추출 파이프라인의 한계를 해결하기 위해.
• 텍스트 읽기와 정보 추출 간 상호 감독을 활용하여 두 작업의 성능을 향상시키기 위해.
• 시각적, 텍스트적, 위치적 특징을 통합하여 정보 추출 성능을 향상시키기 위해.
• 텍스트 읽기 및 정보 추출 모듈 간 특징 공유를 통해 계산 중복을 줄이기 위해.
• 인voice, 이력서, 티켓을 포함한 다양한 문서 유형에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 텍스트 읽기 및 정보 추출 모듈을 공동으로 훈련하는 엔드 투 엔드 딥 러닝 프레임워크인 TRIE를 제안한다.
• 이미지 패치에서 유도된 시각적 특징과 OCR에서 유도된 텍스트적 특징을 융합하여 정보 추출의 입력을 풍부하게 한다.
• 텍스트 스트림 간의 종속성을 포착하기 위해 트랜스포머 기반의 텍스트적 맥락 블록을 사용한다.
• 공간적 레이아웃과 시각적 단서(예: 폰트 크기, 굵기)를 활용하여 인식 및 추출 성능을 향상시키는 시각적 맥락 블록을 도입한다.
• 공동 손실 최적화를 적용: 정보 추출 손실이 텍스트 읽기 작업을 감독하고, 텍스트 읽기 특징이 IE 성능을 향상시킨다.
• 텍스트 읽기 및 정보 추출 간 특징 공유를 통해 추론 효율성을 향상시키고 중복 계산을 줄인다.

Figure 1. Examples of VRDs and example entities to extract. Sensitive information like name and contact information in resumes are pixelated to preserve privacy. Best viewed in color.

실험 결과

연구 질문

• RQ1 분리된 파이프라인 대비 텍스트 읽기와 정보 추출의 공동 훈련이 성능 향상에 기여하는가?
• RQ2 다중모달 특징(시각적, 텍스트적, 위치적)이 정보 추출 정확도에 어떤 기여를 하는가?
• RQ3 정보 추출의 피드백을 통해 엔드 투 엔드 훈련이 텍스트 읽기 정확도를 얼마나 향상시키는가?
• RQ4 고정 레이아웃 대비 가변 레이아웃, 구조적 대비 반구조적 문서 유형 간 레이아웃과 구조의 다양성에 대해 모델이 얼마나 일반화되는가?
• RQ5 다양한 문서 유형에 최적화된 모델 깊이(Layers/Heads)의 최적 구성은 무엇인가?

주요 결과

• TRIE는 세 가지 데이터셋에서 정보 추출 정확도 93.26%를 달성하여 최신 기술 수준의 방법보다 최대 1.56%p 높은 성능을 보였다.
• 엔드 투 엔드 훈련은 파이프라인 훈련 대비 텍스트 읽기 F1 스코어를 0.9 포인트 향상시켰으며, '23.3km' 및 '2017-12-21'과 같은 모호한 텍스트도 정확하게 인식했다.
• 시각적 맥락의 포함으로 IE 정확도가 텍스트 전용일 때 74.33%에서 TRIE의 93.26%로 상승하여 다중모달 특징의 가치를 입증했다.
• 이력서에서 TRIE는 1.76 fps로 작동하여 파이프라인 기반 베이스라인(1.13–1.69 fps)을 능가했으며, 특징 공유와 중복 제거 덕분이었다.
• 제거 분석 결과, 복잡하고 가변 레이아웃을 가진 문서(예: 이력서)에서는 깊이 있는 네트워크(3층, 16헤드)가 가장 우수한 성능을 보였고, 고정 레이아웃 문서에는 단순한 모델로도 충분했다.
• 시각적 맥락은 'Taxi Code'와 같이 굵거나 큰 폰트를 사용하는 엔티티를 구분하는 데 특히 효과적이었으며, 텍스트 맥락은 모호하거나 순차적인 종속성을 해결하는 데 도움이 되었다.

Figure 2. Comparison of VRD understanding architectures: (a) IE with plain text, (b) IE with text and position, (c) IE with position and visual features in addition to plain text, (d) our proposed TRIE. The black and red arrows mean the forward and backward processing, respectively. Best viewed in c