[논문 리뷰] SelfDoc: Self-Supervised Document Representation Learning

Peizhao Li, Jiuxiang Gu외 6명|arXiv (Cornell University)|2021. 06. 07.

Multimodal Machine Learning Applications참고 문헌 21인용 수 7

한 줄 요약

SelfDoc는 개별 단어가 아닌 의미적으로 유의미한 구성 요소(예: 텍스트 블록, 제목, 그림 등)를 모델링하는 작업에 종속되지 않은 자기지도 학습 전훈 프레임워크를 제안한다. 전훈 중 다중모달 상호작용을 활용하고, 피지컬 적응형 주의 메커니즘을 통해 융합을 수행함으로써, 이전 방법들보다 훨씬 적은 전훈 이미지를 사용하여 문서 엔터티 인식, 분류, 군집화에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose SelfDoc, a task-agnostic pre-training framework for document image understanding. Because documents are multimodal and are intended for sequential reading, our framework exploits the positional, textual, and visual information of every semantically meaningful component in a document, and it models the contextualization between each block of content. Unlike existing document pre-training models, our model is coarse-grained instead of treating individual words as input, therefore avoiding an overly fine-grained with excessive contextualization. Beyond that, we introduce cross-modal learning in the model pre-training phase to fully leverage multimodal information from unlabeled documents. For downstream usage, we propose a novel modality-adaptive attention mechanism for multimodal feature fusion by adaptively emphasizing language and vision signals. Our framework benefits from self-supervised pre-training on documents without requiring annotations by a feature masking training strategy. It achieves superior performance on multiple downstream tasks with significantly fewer document images used in the pre-training stage compared to previous works.

연구 동기 및 목표

• 라벨이 필요한 데이터에 의존도를 줄이는 작업에 종속되지 않은 문서 이미지 이해를 위한 전훈 프레임워크를 개발한다.
• 단어 수준이 아닌 구성 요소 수준에서의 맥락적 관계를 모델링함으로써 문서 표현을 향상시킨다.
• 세부 조정 단계가 아닌 전훈 단계에서 다중모달 상호작용을 통합함으로써 다중모달 학습을 향상시킨다.
• 다양한 모odal에 적응하는 주의 메커니즘을 사용하여 최종 작업에서 효과적인 모달 융합을 가능하게 한다.
• 대규모 레이블이 필요한 데이터가 없이도 뛰어난 성능을 달성함으로써 데이터 부족 및 개인정보 보호 문제를 해결한다.

제안 방법

• 모델은 개별 단어가 아닌 의미적으로 의미 있는 구성 요소(예: 텍스트 블록, 그림 등)를 입력하여 더 거시적인 맥락을 제공한다.
• 2차원 위치 인코딩을 사용하여 레이아웃 구조를 고려한 별도의 텍스트 및 시각적 인코더를 활용하여 언어 및 시각적 표현을 학습한다.
• 전훈 중 언어 및 시각적 특징 간 상호작용을 가능하게 하기 위해 다중모달 인코더를 도입한다.
• 최종 융합을 위해 입력 내용에 따라 언어 또는 시각적 특징을 동적으로 강조하는 모달 적응형 주의 메커니즘을 사용한다.
• 레이블이 없는 문서에서 특징 마스킹 전략을 통해 자기지도 전훈을 수행함으로써 애너테이션의 필요성을 제거한다.
• 엔터티 인식, 분류, 군집화와 같은 최종 작업에서 프레임워크를 미세조정한다.

실험 결과

연구 질문

• RQ1 단어 수준이 아닌 구성 요소 수준에서 문서 내용을 모델링하면 문서 이해를 위한 표현 학습이 향상되는가?
• RQ2 전훈 단계에서 다중모달 학습을 통합할 경우, 모달 특화 전훈 대비 최종 성능에 어떤 영향을 미치는가?
• RQ3 모달 적응형 주의 메커니즘이 문서 분석 작업에서 다중모달 융합을 향상시키는가?
• RQ4 자기지도 학습 프레임워크는 문서 표현 학습에서 대규모 레이블이 필요한 데이터의 필요성을 얼마나 줄일 수 있는가?
• RQ5 기존 방법들과 비교했을 때, 전훈 문서 수를 줄여도 최신 기술 수준의 성능을 유지할 수 있는가?

주요 결과

• SelfDoc는 LayoutLM 및 기타 베이스라인보다 훨씬 적은 전훈 이미지를 사용함에도 불구하고 문서 엔터티 인식, 분류, 군집화에서 슈퍼리어한 성능을 보였다.
• RVL-CDIP 데이터셋에서 SelfDoc는 전훈 데이터의 1/8만 사용하여 미세조정했을 때 91.50%의 정확도를 기록했으며, 전체 데이터셋 설정에서 LayoutLM을 더 크게 앞섰다.
• 제거 실험 결과, 텍스트나 시각적 입력을 제거하면 성능이 크게 떨어지며, 이는 다중모달 학습의 필수성을 확인한다.
• 크로스 어텐션 메커니즘이 성능 향상에 크게 기여하며, 두 개의 크로스 어텐션 헤드 모두 최적의 성능을 내기 위해 필수적이다.
• VGG-16에서 유도한 글로벌 시각적 특징을 통합함으로써 분류 정확도가 약 1% 향상되었으며, 특히 저품질 또는 가림된 문서에서 두드러진 효과를 보였다.
• 문서 군집화 결과, SelfDoc의 전훈된 임베딩은 BERT 및 LayoutLM보다 더 구분력이 뛰어나, 미세조정 없이도 더 풍부한 구성 요소 수준의 표현 덕분이었다.