Skip to main content
QUICK REVIEW

[논문 리뷰] LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking

Yupan Huang, Tengchao Lv|arXiv (Cornell University)|2022. 04. 18.
Handwritten Text Recognition TechniquesComputer Science인용 수 31
한 줄 요약

LayoutLMv3는 Word-Patch Alignment 목표로 텍스트와 이미지를 Unified 마스킹으로 도입하여 CNN 백본 없이도 텍스트 중심 및 이미지 중심 문서 AI 작업에서 단일 다중 모달 트랜스포머가 뛰어나게 수행하도록 한다.

ABSTRACT

Self-supervised pre-training techniques have achieved remarkable progress in Document AI. Most multimodal pre-trained models use a masked language modeling objective to learn bidirectional representations on the text modality, but they differ in pre-training objectives for the image modality. This discrepancy adds difficulty to multimodal representation learning. In this paper, we propose extbf{LayoutLMv3} to pre-train multimodal Transformers for Document AI with unified text and image masking. Additionally, LayoutLMv3 is pre-trained with a word-patch alignment objective to learn cross-modal alignment by predicting whether the corresponding image patch of a text word is masked. The simple unified architecture and training objectives make LayoutLMv3 a general-purpose pre-trained model for both text-centric and image-centric Document AI tasks. Experimental results show that LayoutLMv3 achieves state-of-the-art performance not only in text-centric tasks, including form understanding, receipt understanding, and document visual question answering, but also in image-centric tasks such as document image classification and document layout analysis. The code and models are publicly available at \url{https://aka.ms/layoutlmv3}.

연구 동기 및 목표

  • CNN 또는 영역 주석에 대한 의존도를 줄이는 다중 모달 문서 AI를 위한 통일된 자기지도 사전 학습 프레임워크를 고취한다.
  • MLM, MIM, WPA 등 모달리티 간 텍스트 토큰과 이미지 패치를 정렬하는 목표를 개발한다.
  • 단일 모델의 일반성을 텍스트 중심 및 이미지 중심 문서 이해 작업 모두에 시연한다.

제안 방법

  • 연결된 텍스트 및 이미지 패치 임베딩을 처리하는 통합 변환기 아키텍처를 채택한다.
  • 맥락에 기반하여 마스킹된 텍스트 토큰을 재구성하기 위해 MLM을 사용한다.
  • 이산 VAE를 통해 시각적 어휘의 토큰인 이산 이미지 토큰을 재구성하기 위해 MIM을 사용한다.
  • 텍스트 단어에 해당하는 이미지 패치가 마스킹되었는지 예측하기 위한 Word-Patch Alignment(WPA)을 도입한다.
  • RoBERTa 및 DiT 초기화로 11M IIT-CDIP 문서 이미지로 사전 학습하며, CNN 대신 패치 기반 이미지 임베딩을 사용한다.

실험 결과

연구 질문

  • RQ1단일 다중 모달 트랜스포머가 통합 MLM, MIM 및 WPA 목표로 사전 학습되어 텍스트 중심 및 이미지 중심 문서 AI 작업 모두에서 최첨단 성능을 달성할 수 있는가?
  • RQ2CNN 기반 이미지 임베딩을 선형 패치 임베딩으로 대체하면 다양한 문서 작업에서 성능과 효율성에 어떤 영향을 미치는가?
  • RQ3WPA 목표가 다양한 벤치마크에서 교차 모달 정렬 및 다운스트림 작업 정확도를 향상시키는가?
  • RQ4사전 학습 목표(MLM, MIM, WPA)가 양식/영수증 이해, 문서 이미지 분류 및 문서 VQA에 미치는 영향은 무엇인가?

주요 결과

  • LayoutLMv3는 FUNSD에서 최첨단 F1을 달성하고(BASE: 90.29; LARGE: 92.08) CORD에서도 최첨단(BASE: 96.56; LARGE: 97.46).
  • RVL-CDIP에서 최첨단 정확도 달성 (BASE: 95.44; LARGE: 95.93).
  • DocVQA ANLS 점수에서도 우수한 성과를 보임 (BASE: 78.76; LARGE: 83.37).
  • PubLayNet 이미지-레이아웃 분석은 선형 이미지 임베딩의 이점을 보이며, LayoutLMv3가 95.1 mAP (BASE/LARGE)로 CNN 기반 백본을 능가한다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.