[논문 리뷰] LayoutLMv2: Multi-modal Pre-training for Visually-Rich Document Understanding

Yang Xu, Yiheng Xu외 10명|arXiv (Cornell University)|2020. 12. 29.

Multimodal Machine Learning Applications참고 문헌 42인용 수 58

한 줄 요약

LayoutLMv2는 텍스트, 레이아웃, 이미지를 공동으로 모델링하는 멀티모달 Transformer를 도입하여 Visually-Rich Document Understanding에서의 VrDU 태스크 다수에 대해 최첨단 성능을 달성하기 위해 새로운 사전학습 과제와 공간 인식 주의(attention)를 활용합니다.

ABSTRACT

Pre-training of text and layout has proved effective in a variety of visually-rich document understanding tasks due to its effective model architecture and the advantage of large-scale unlabeled scanned/digital-born documents. We propose LayoutLMv2 architecture with new pre-training tasks to model the interaction among text, layout, and image in a single multi-modal framework. Specifically, with a two-stream multi-modal Transformer encoder, LayoutLMv2 uses not only the existing masked visual-language modeling task but also the new text-image alignment and text-image matching tasks, which make it better capture the cross-modality interaction in the pre-training stage. Meanwhile, it also integrates a spatial-aware self-attention mechanism into the Transformer architecture so that the model can fully understand the relative positional relationship among different text blocks. Experiment results show that LayoutLMv2 outperforms LayoutLM by a large margin and achieves new state-of-the-art results on a wide variety of downstream visually-rich document understanding tasks, including FUNSD (0.7895 $ o$ 0.8420), CORD (0.9493 $ o$ 0.9601), SROIE (0.9524 $ o$ 0.9781), Kleister-NDA (0.8340 $ o$ 0.8520), RVL-CDIP (0.9443 $ o$ 0.9564), and DocVQA (0.7295 $ o$ 0.8672). We made our model and code publicly available at \url{https://aka.ms/layoutlmv2}.

연구 동기 및 목표

• 단일 사전학습 프레임워크에서 텍스트, 레이아웃, 이미지 등 교차 모달 정보를 활용하여 VrDU를 개선하려는 동기를 제시한다.
• 공간 인식 self-attention을 갖춘 멀티모달 Transformer를 제안하여 교차 모달 상호작용과 상대적 공간 관계를 학습한다.
• 마스크된 시각-언어 모델링 MVLM 외에 텍스트-이미지 정렬(TIA)과 텍스트-이미지 매칭(TIM) 같은 새로운 사전학습 과제를 도입한다.
• 다양한 VrDU 데이터셋에서 평가하여 최첨단 성능과 다운스트림 태스크로의 전이 가능성을 입증한다.

제안 방법

• 텍스트 임베딩, CNN 백본(ResNeXt-FPN)에서 얻은 시각 임베딩, OCR 경계 상자에서 얻은 레이아웃 임베딩을 융합하는 이중 흐름의 멀티모달 Transformer 인코더를 구축한다.
• 텍스트 블록 간의 상대적 공간 관계를 모델링하기 위해 1D 및 2D 상대 위치 바이어스를 갖는 공간 인식 self-attention을 도입한다.
• 사전학습 과제에는 MVLM(마스크된 시각-언어 모델링), 줄(line) 단위의 텍스트-이미지 정렬(TIA), 텍스트-이미지 매칭(TIM)이 포함된다.
• 사전학습에 IIT-CDIP를 사용하고 FUNSD, CORD, SROIE, Kleister-NDA, RVL-CDIP 및 DocVQA를 포함한 여섯 가지 다운스트림 VrDU 태스크에서 파인튜닝한다.
• 다운스트림 태스크에서 LayoutLMv2의 BASE, LARGE 변형을 파인튜닝하고 BERT, UniLMv2, LayoutLM(BASE/LARGE)과 비교한다.

실험 결과

연구 질문

• RQ1 교차 모달(텍스트, 레이아웃, 이미지) 정보를 VrDU를 위한 단일 사전학습 프레임워크에서 어떻게 효과적으로 모델링할 수 있을까?
• RQ2 새로운 사전학습 목표(TIA, TIM)와 공간 인식 주의가 MVLM을 넘어 교차 모달 이해를 향상시키는가?
• RQ3 이전 모델과 비교하여 LayoutLMv2가 다양한 VrDU 태스크에서 어떤 성능 향상을 달성할 수 있는가?
• RQ4 LayoutLMv2가 정보 추출과 문서 QA 태스크 모두로의 전이 속성은 어떠한가?

주요 결과

• LayoutLMv2 LARGE는 이전 모델과 비교하여 다수의 VrDU 태스크에서 최첨단 성능을 달성한다.
• FUNSD, CORD, SROIE, Kleister-NDA에서 LayoutLMv2 LARGE은 각각 0.8420, 0.9601, 0.9781, 0.8520에 도달한다(엔티티 추출 F1).
• LayoutLMv2 BASE/LARGE는 LayoutLM BASE/LARGE 및 텍스트만 기반 선행 모델을 능가하여 멀티모달 사전학습의 이점을 강조한다.
• TIA 및 TIM 과제와 공간 인식 self-attention이 MVLM 단독보다 성능을 크게 향상시킨다.
• LayoutLMv2는 또한 문서 이미지 분류(RVL-CDIP) 및 DocVQA ANLS 점수를 향상시켜 VrDU 태스크에 폭넓은 이점을 보여준다.
• 모델과 코드는 재현 및 확장을 위한 공개 자료로 제공된다.