[논문 리뷰] StrucTexT: Structured Text Understanding with Multi-Modal Transformers

Yulin Li, Yuxi Qian외 8명|arXiv (Cornell University)|2021. 08. 06.

Multimodal Machine Learning Applications참고 문헌 51인용 수 6

한 줄 요약

StrucTexT는 시각적으로 rich한 문서에서 구조적 텍스트 이해를 위한 통합 다중모달 트랜스포머 프레임워크를 제안하며, 세그먼트-토큰 정렬 인코더와 세 가지 자기지도 학습 작업을 포함한 새로운 사전학습 전략을 통해 시각적, 텍스처적, 레이아웃 특징을 통합한다. 이는 토큰 수준과 세그먼트 수준에서의 다중 해상도 표현을 효과적으로 융합함으로써 FUNSD, SROIE, EPHOIE에서 최신 기술 수준 성능을 달성한다.

ABSTRACT

Structured text understanding on Visually Rich Documents (VRDs) is a crucial part of Document Intelligence. Due to the complexity of content and layout in VRDs, structured text understanding has been a challenging task. Most existing studies decoupled this problem into two sub-tasks: entity labeling and entity linking, which require an entire understanding of the context of documents at both token and segment levels. However, little work has been concerned with the solutions that efficiently extract the structured data from different levels. This paper proposes a unified framework named StrucTexT, which is flexible and effective for handling both sub-tasks. Specifically, based on the transformer, we introduce a segment-token aligned encoder to deal with the entity labeling and entity linking tasks at different levels of granularity. Moreover, we design a novel pre-training strategy with three self-supervised tasks to learn a richer representation. StrucTexT uses the existing Masked Visual Language Modeling task and the new Sentence Length Prediction and Paired Boxes Direction tasks to incorporate the multi-modal information across text, image, and layout. We evaluate our method for structured text understanding at segment-level and token-level and show it outperforms the state-of-the-art counterparts with significantly superior performance on the FUNSD, SROIE, and EPHOIE datasets.

연구 동기 및 목표

• 복잡한 레이아웃, 텍스트, 시각적 요소를 포함하는 시각적으로 rich한 문서(Visually Rich Documents, VRDs)에서의 구조적 텍스트 이해 도전 과제를 해결한다.
• 기존 방법들이 엔티티 레이블링과 연결을 별도의 과제로 분리함에 따라 토큰 수준 또는 세그먼트 수준 분석에만 집중하는 한계를 극복한다.
• 풍부한 다중모달 표현을 활용해 토큰 수준과 세그먼트 수준의 엔티티 추출을 동시에 모델링할 수 있는 통합 프레임워크를 개발한다.
• 다중모달 표현 간의 보다 나은 교차 모odal 정렬을 위해 시각적, 텍스처적, 레이아웃 모odal을 통합한 새로운 사전학습 전략을 통해 표현 학습을 향상시킨다.
• 문자, 단어, 줄, 영역 등의 다중 해상도 특징을 효과적으로 융합하여 엔티티 레이블링 및 엔티티 연결 성능을 향상시킨다.

제안 방법

• 공유된 멀티헤드 어텐션 메커니즘을 사용해 토큰 수준과 세그먼트 수준에서 동시에 엔티티 레이블링을 모델링하는 세그먼트-토큰 정렬 인코더를 제안한다.
• 다중모달 표현 학습을 향상시키기 위해 마스크된 시각적 언어 모델링(MVLM), 문장 길이 예측(SLP), 쌍으로 된 상자 방향(PBD)의 세 가지 자기지도 사전학습 작업을 도입한다.
• OCR를 통해 추출한 텍스트, 바운딩 박스 좌표, 시각 인코더에서 추출한 시각적 특징을 활용해 통합된 다중모달 입력 표현을 생성한다.
• 엔티티 레이블링(IOB 태깅)과 엔티티 연결(관계 예측) 과제를 동시에 최적화하기 위해 통합 손실 함수를 사용해 모델을 엔드 투 엔드로 훈련시킨다.
• 문자 수준의 토큰과 줄 수준의 세그먼트에서 동시에 학습함으로써 다중 해상도 감시를 적용하며, 양쪽 수준을 동시에 고려하는 어텐션 메커니즘을 활용한다.
• 시각적 특징(이미지 패치), 텍스트 임베딩(BERT 기반), 레이아웃 임베딩(상대적 바운딩 박스 좌표)을 동일한 트랜스포머 공간에 정렬하는 다중모달 융합 메커니즘을 활용한다.

실험 결과

연구 질문

• RQ1 시각적으로 rich한 문서에서 토큰 수준과 세그먼트 수준의 구조적 텍스트 이해를 효과적으로 처리할 수 있는 통합 프레임워크가 존재하는가?
• RQ2 시각적, 텍스처적, 레이아웃 모달의 다양한 조합이 문서 이해 과제 성능에 어떤 영향을 미치는가?
• RQ3 특히 문장 길이 예측과 쌍으로 된 상자 방향 작업이 다중모달 표현 학습에 얼마나 기여하는가?
• RQ4 다중 해상도 특징 융합(토큰 대 세그먼트)이 단일 해상도 접근 방식에 비해 엔티티 레이블링 및 연결 성능을 향상시키는가?
• RQ5 구조적 텍스트 이해에서 주요 실패 유형은 무엇이며, 키-밸류 관계와 레이아웃 컨텍스트를 개선한 모델링을 통해 이를 어떻게 완화할 수 있는가?

주요 결과

• StrucTexT는 MVLM+PBD+SLP 사전학습을 사용할 경우 FUNSD에서 F1 스코어 83.09를 기록하며 기존 방법들을 초월하는 최신 기술 수준 성능을 달성한다.
• SROIE에서는 전체 사전학습 설정을 사용해 F1 스코어 96.88을 기록하며 엔티티 레이블링과 연결 모두에서 뛰어난 성능을 보였다.
• 절단 분석 결과, MVLM, SLP, PBD의 세 가지 사전학습 작업을 모두 조합할 경우 가장 우수한 성능을 기록했으며, MVLM 전용 대비 FUNSD에서 3% 향상되고 SROIE에서 0.2% 향상되었다.
• 시각적 및 언어적 특징은 상호 보완적이다: FUNSD에서 양 모달을 조합할 경우 단일 모달 사용 대비 F1 스코어가 5% 이상 향상되었고, SROIE에서는 5.5% 향상되었다.
• 세그먼트 수준 표현 학습이 토큰 수준 학습을 능가하며, FUNSD에서 세그먼트 수준 F1 스코어는 83.09, 토큰 수준은 81.59를 기록하여 줄 수준 컨텍스트의 가치를 입증했다.
• 오류 분석 결과, 수치적으로 유사한 엔티티(예: 학번)를 구분하는 데 어려움이 있으며, 애매한 의미적 관계가 존재하는 것으로 나타나 키-밸류 쌍 모델링 향상 여지가 있음을 시사한다.