[논문 리뷰] LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking
LayoutLMv3는 Word-Patch Alignment 목표로 텍스트와 이미지를 Unified 마스킹으로 도입하여 CNN 백본 없이도 텍스트 중심 및 이미지 중심 문서 AI 작업에서 단일 다중 모달 트랜스포머가 뛰어나게 수행하도록 한다.
Self-supervised pre-training techniques have achieved remarkable progress in Document AI. Most multimodal pre-trained models use a masked language modeling objective to learn bidirectional representations on the text modality, but they differ in pre-training objectives for the image modality. This discrepancy adds difficulty to multimodal representation learning. In this paper, we propose extbf{LayoutLMv3} to pre-train multimodal Transformers for Document AI with unified text and image masking. Additionally, LayoutLMv3 is pre-trained with a word-patch alignment objective to learn cross-modal alignment by predicting whether the corresponding image patch of a text word is masked. The simple unified architecture and training objectives make LayoutLMv3 a general-purpose pre-trained model for both text-centric and image-centric Document AI tasks. Experimental results show that LayoutLMv3 achieves state-of-the-art performance not only in text-centric tasks, including form understanding, receipt understanding, and document visual question answering, but also in image-centric tasks such as document image classification and document layout analysis. The code and models are publicly available at \url{https://aka.ms/layoutlmv3}.
연구 동기 및 목표
- CNN 또는 영역 주석에 대한 의존도를 줄이는 다중 모달 문서 AI를 위한 통일된 자기지도 사전 학습 프레임워크를 고취한다.
- MLM, MIM, WPA 등 모달리티 간 텍스트 토큰과 이미지 패치를 정렬하는 목표를 개발한다.
- 단일 모델의 일반성을 텍스트 중심 및 이미지 중심 문서 이해 작업 모두에 시연한다.
제안 방법
- 연결된 텍스트 및 이미지 패치 임베딩을 처리하는 통합 변환기 아키텍처를 채택한다.
- 맥락에 기반하여 마스킹된 텍스트 토큰을 재구성하기 위해 MLM을 사용한다.
- 이산 VAE를 통해 시각적 어휘의 토큰인 이산 이미지 토큰을 재구성하기 위해 MIM을 사용한다.
- 텍스트 단어에 해당하는 이미지 패치가 마스킹되었는지 예측하기 위한 Word-Patch Alignment(WPA)을 도입한다.
- RoBERTa 및 DiT 초기화로 11M IIT-CDIP 문서 이미지로 사전 학습하며, CNN 대신 패치 기반 이미지 임베딩을 사용한다.
실험 결과
연구 질문
- RQ1단일 다중 모달 트랜스포머가 통합 MLM, MIM 및 WPA 목표로 사전 학습되어 텍스트 중심 및 이미지 중심 문서 AI 작업 모두에서 최첨단 성능을 달성할 수 있는가?
- RQ2CNN 기반 이미지 임베딩을 선형 패치 임베딩으로 대체하면 다양한 문서 작업에서 성능과 효율성에 어떤 영향을 미치는가?
- RQ3WPA 목표가 다양한 벤치마크에서 교차 모달 정렬 및 다운스트림 작업 정확도를 향상시키는가?
- RQ4사전 학습 목표(MLM, MIM, WPA)가 양식/영수증 이해, 문서 이미지 분류 및 문서 VQA에 미치는 영향은 무엇인가?
주요 결과
- LayoutLMv3는 FUNSD에서 최첨단 F1을 달성하고(BASE: 90.29; LARGE: 92.08) CORD에서도 최첨단(BASE: 96.56; LARGE: 97.46).
- RVL-CDIP에서 최첨단 정확도 달성 (BASE: 95.44; LARGE: 95.93).
- DocVQA ANLS 점수에서도 우수한 성과를 보임 (BASE: 78.76; LARGE: 83.37).
- PubLayNet 이미지-레이아웃 분석은 선형 이미지 임베딩의 이점을 보이며, LayoutLMv3가 95.1 mAP (BASE/LARGE)로 CNN 기반 백본을 능가한다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.