[논문 리뷰] Towards a Multi-modal, Multi-task Learning based Pre-training Framework for Document Representation Learning

Subhojeet Pramanik, Shashank Mujumdar외 1명|arXiv (Cornell University)|2020. 09. 30.

Handwritten Text Recognition Techniques인용 수 9

한 줄 요약

이 논문은 다중 모odal, 다중 작업 미리 훈련 프레임워크를 제안하여 장문의 문서를 다룰 수 있도록 Longformer 백본을 사용해 텍스트, 레이아웃, 이미지 특징을 동시에 인코딩한다. 문서 주제 모델링과 문서 셔플 예측이라는 새로운 자기지도 학습 작업을 도입함으로써, 교차 모달 표현을 풍부하게 학습하여 다양한 벤치마크에서 문서 분류, 정보 추출, 검색 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent approaches in literature have exploited the multi-modal information in documents (text, layout, image) to serve specific downstream document tasks. However, they are limited by their - (i) inability to learn cross-modal representations across text, layout and image dimensions for documents and (ii) inability to process multi-page documents. Pre-training techniques have been shown in Natural Language Processing (NLP) domain to learn generic textual representations from large unlabelled datasets, applicable to various downstream NLP tasks. In this paper, we propose a multi-task learning-based framework that utilizes a combination of self-supervised and supervised pre-training tasks to learn a generic document representation applicable to various downstream document tasks. Specifically, we introduce Document Topic Modelling and Document Shuffle Prediction as novel pre-training tasks to learn rich image representations along with the text and layout representations for documents. We utilize the Longformer network architecture as the backbone to encode the multi-modal information from multi-page documents in an end-to-end fashion. We showcase the applicability of our pre-training framework on a variety of different real-world document tasks such as document classification, document information extraction, and document retrieval. We evaluate our framework on different standard document datasets and conduct exhaustive experiments to compare performance against various ablations of our framework and state-of-the-art baselines.

연구 동기 및 목표

• 기존 프레임워크가 문서의 텍스트, 레이아웃, 이미지 모달 간 교차 모달 표현을 학습하는 데에 한계가 있다는 문제를 해결하기 위해.
• 실제 응용에서 흔한 다중 페이지 문서에서 종단간 문서 표현 학습을 가능하게 하기 위해.
• 시각적 및 구조적 정보를 활용하는 새로운 자기지도 미리 훈련 작업을 도입함으로써 일반 문서 표현 학습을 향상시키기 위해.
• 분류, 정보 추출, 검색과 같은 다양한 하류 문서 작업에 걸쳐 프리트레인드 프레임워크의 일반화 능력을 입증하기 위해.
• 통합된 미리 훈련 파라다임에서 다중 모달 입력과 다중 작업 학습을 결합하여 기존 최신 기술 수준의 모델을 초월하기 위해.

제안 방법

• 장문의 문서에서 유한한 순서를 효율적으로 처리하기 위해 선형 주의 메커니즘을 적용한 Longformer 아키텍처를 백본으로 사용한다.
• 텍스트 토큰, 레이아웃을 위한 2차원 위치, 텍스트 토큰의 이미지 특징(외관), 페이지 수준의 이미지 임베딩의 네 가지 임베딩을 통해 문서 정보를 인코딩한다.
• 시각적 및 구조적 표현 학습을 향상시키기 위해 새로운 자기지도 미리 훈련 작업인 문서 주제 모델링(DTM)과 문서 셔플 예측(DSP)을 도입한다.
• 기존의 미리 훈련 목표인 마스크된 시각 언어 모델링(MVLM)과 문서 분류(CLF)와 함께, 다중 작업 학습 환경에서 이들을 통합한다.
• 텍스트, 레이아웃, 이미지 모달 간의 상호작용과 공유 표현 학습을 가능하게 하기 위해 종단간 훈련을 수행한다.
• 표준 벤치마크를 사용하여 문서 분류, 정보 추출, 문서 검색과 같은 하류 작업에서 프리트레인드 모델을 미세조정한다.

실험 결과

연구 질문

• RQ1 다중 모달, 다중 작업 미리 훈련 프레임워크는 문서의 텍스트, 레이아웃, 이미지 모달 간에 공유 표현을 효과적으로 학습할 수 있는가?
• RQ2 문서 주제 모델링과 문서 셔플 예측과 같은 새로운 자기지도 미리 훈련 작업은 기존 방법에 비해 문서 표현 학습을 얼마나 향상시키는가?
• RQ3 분류, 정보 추출, 검색과 같은 다양한 하류 문서 작업에 걸쳐 프레임워크의 일반화 능력은 어느 정도인가?
• RQ4 추론 시 텍스트 정보가 없는 상황에서 이미지 및 레이아웃 특징의 포함 여부가 성능에 어떤 영향을 미치는가?
• RQ5 실제 문서 처리에서 흔한 다중 페이지 문서를 효과적으로 처리할 수 있는가?

주요 결과

• 제안된 프레임워크는 다양한 표준 데이터셋에서 문서 분류, 정보 추출, 문서 검색 작업에서 최신 기술 수준의 모델을 초월한다.
• 제거 실험 결과, 전체 프레임워크(Our All)는 오직 이미지 특징만을 사용할 경우 약 37%의 성능 저하를 보이며, 기준 모델(Our MC)의 약 43% 저하보다 유의미하게 낮아, 더 나은 이미지 표현 학습 능력을 보여준다.
• 문서 셔플 예측(DSP)과 문서 주제 모델링(DTM) 작업의 도입으로, 텍스트가 제거된 추론 상황에서도 성능 저하가 적어 더 견고한 이미지 표현이 학습됨을 입증한다.
• 텍스트 정보가 없는 상황에서도 프레임워크는 강력한 성능 유지를 보이며, 새로운 미리 훈련 작업을 통해 시각적 및 레이아웃 특징가 효과적으로 활용됨을 보여준다.
• Longformer 백본은 다중 페이지 문서에서 유장한 문서 시퀀스를 효과적으로 처리할 수 있어, 모든 페이지를 아우르는 종단간 학습을 지원한다.
• MVLM, CLF, DSP, DTM 작업의 다중 작업 설정에서의 조합은 제거된 버전 및 기존 기준 모델 대비 더 나은 일반화 능력과 향상된 하류 작업 성능을 보여준다.