[논문 리뷰] Document AI: Benchmarks, Models and Applications

Lei Cui, Yiheng Xu외 2명|arXiv (Cornell University)|2021. 11. 16.

Handwritten Text Recognition Techniques참고 문헌 101인용 수 34

한 줄 요약

이 논문은 문서 AI를 조사하여 목표 작업, 벤치마크 데이터셋, 대표 모델 및 사전 학습 방법을 검토하고, 멀티모달 레이아웃과 시각 정보에 초점을 맞추며 향후 방향을 논의한다.

ABSTRACT

Document AI, or Document Intelligence, is a relatively new research topic that refers to the techniques for automatically reading, understanding, and analyzing business documents. It is an important research direction for natural language processing and computer vision. In recent years, the popularity of deep learning technology has greatly advanced the development of Document AI, such as document layout analysis, visual information extraction, document visual question answering, document image classification, etc. This paper briefly reviews some of the representative models, tasks, and benchmark datasets. Furthermore, we also introduce early-stage heuristic rule-based document analysis, statistical machine learning algorithms, and deep learning approaches especially pre-training methods. Finally, we look into future directions for Document AI research.

연구 동기 및 목표

• 금융, 의료 및 물류 전반에서의 산업적 중요성을 부각하여 문서 AI 연구의 필요성을 제시한다.
• 휴리스틱 및 고전 ML에서 딥 러닝까지 문서 AI의 대표적 작업, 데이터셋 및 모델 계열을 요약한다.
• 사전 학습과 다중 모달 정보(레이아웃 및 시각 정보)가 다운스트림 작업 성능을 향상시키는 역할을 분석한다.
• 문서 AI의 현재 도전과제들을 식별하고 향후 연구 방향을 제시한다.

제안 방법

• 휴리스틱 규칙 기반 방법에서 통계적 ML 및 딥 러닝에 이르는 역사적 및 현대적 접근법을 분류하고 요약한다.
• 문서 레이아웃 분석, 시각 정보 추출 및 문서 VQA에 대한 작업별 모델을 논의한다.
• 텍스트와 함께 2-D 레이아웃 및 이미지 특징을 통합하는 범용 다중 모달 사전 학습 아키텍처(예: LayoutLM)를 소개한다.
• 셀프-감독 사전 학습 작업(마스킹된 시각-언어 모델링) 및 사전 학습을 위한 다중 라벨 문서 분류 손실의 선택적 사용을 기술한다.
• 주요 벤치마크 데이터셋과 이들이 문서 이해 작업 발전에 기여하는 역할을 요약한다.

실험 결과

연구 질문

• RQ1 오늘날 문서 AI를 정의하는 주요 작업과 벤치마크는 무엇인가?
• RQ2 문서 AI에서 모델은 휴리스틱 및 고전 ML에서 딥 러닝 및 다중 모달 사전 학습으로 어떻게 진화해 왔는가?
• RQ3 실제 현장의 길고 다양한 문서에 문서 AI를 적용할 때의 현재 도전과제는 무엇인가?
• RQ4 LayoutLM과 같은 다중 모달 사전 학습 접근법이 다운스트림 문서 AI 작업을 어떻게 향상시키는가?
• RQ5 어떤 데이터셋이 발전을 이끄는가, 저자들이 식별하는 향후 방향은 무엇인가?

주요 결과

• 문서 AI 작업에는 레이아웃 분석, 시각 정보 추출, 문서 VQA 및 이미지 분류가 포함되며, 성장하는 벤치마크 데이터셋 세트로 뒷받침된다.
• CNN 기반 레이아웃 분석, 시각적으로 풍부한 문서를 위한 GNN, 그리고 Transformer 기반 다중 모달 사전 학습(LayoutLM)이 다운스트림 작업의 성능을 크게 향상시킨다.
• LayoutLM은 2-D 레이아웃과 이미지 임베딩을 텍스트와 함께 Transformer 프레임워크로 통합하여 다운스트림 작업으로의 지식 전달을 효과적으로 가능하게 한다.
• 레이아웃 및 시각 정보를 활용한 사전 학습은 여러 다운스트림 작업에서 뚜렷한 개선을 가져와 다중 모달 사전 학습 접근법의 타당성을 입증한다.
• 긴 문서, 페이지 간 이해, 스캐닝으로 인한 데이터 품질 격차, 멀티태스크 학습 및 자원 효율적인 모델의 필요성 등의 도전과제가 남아 있다.