[논문 리뷰] A Survey of Deep Learning Approaches for OCR and Document Understanding

Nishant Subramani, Alexandre Matton외 2명|arXiv (Cornell University)|2020. 11. 27.

Handwritten Text Recognition Techniques참고 문헌 103인용 수 26

한 줄 요약

이 종합 검토는 엔드 투 엔드 문서 이해를 위한 최신 딥러닝 기법을 통합적으로 정리하며, 레이아웃 분석 및 텍스트 검출을 위한 컴퓨터 비전 기술과 OCR 및 정보 추출을 위한 자연어 처리(NLP) 기법을 융합한다. 이 문서는 2D 위치 임베딩과 자기 어텐션 메커니즘을 갖춘 트랜스포머 기반의 다중모달 아키텍처를 강조하며, 송장 및 계약서와 같은 복잡한 문서에서 표 이해 및 구조화된 정보 추출 작업에서 최신 기술 성능을 달성한다.

ABSTRACT

Documents are a core part of many businesses in many fields such as law, finance, and technology among others. Automatic understanding of documents such as invoices, contracts, and resumes is lucrative, opening up many new avenues of business. The fields of natural language processing and computer vision have seen tremendous progress through the development of deep learning such that these methods have started to become infused in contemporary document understanding systems. In this survey paper, we review different techniques for document understanding for documents written in English and consolidate methodologies present in literature to act as a jumping-off point for researchers exploring this area.

연구 동기 및 목표

• 영어 문서에서의 문서 이해를 위한 기존 딥러닝 기법들을 통합하고 체계화하는 것.
• 컴퓨터 비전(CV)과 자연어 처리(NLP) 기법을 융합한 엔드 투 엔드 문서 이해 시스템을 구축하기 위한 체계적 프레임워크 제공.
• 공개된 데이터셋이 제한되어 있음에도 불구하고 문서 이해 분야의 현재 추세, 한계 및 연구 격차를 부각하는 것.
• 문서 AI 분야에 진입하는 연구자 및 전문가들을 위한 기초 참고 자료로 기능하는 것.

제안 방법

• 문서 레이아웃 분석을 위한 컴퓨터 비전 모델을 통합하여 페이지를 표, 주소, 헤더 등의 콘텐츠 영역으로 분할한다.
• 스포츠 텍스트 검출 및 인스턴스 세그멘테이션을 활용한 딥러닝 기반의 OCR 모델을 적용하여 정확한 텍스트 위치 지정 및 전사 수행.
• 2D 위치 임베딩을 사용한 사전 훈련된 트랜스포머 기반 언어 모델(예: BERT, TUTA)을 적용하여 문서 레이아웃 내의 공간적 및 의미적 관계 모델링.
• 계층적이고 관계적인 구조를 모델링하기 위해 필드 노드와 관계 엣지를 갖춘 그래프 기반 표현(DAGs)을 사용한다.
• 컨volutional 및 트랜스포머 기반 아키텍처를 활용해 표 검출, 구조 인식, 셀 유형 분류를 동시에 수행하는 다중 작업 학습 프레임워크를 적용한다.
• TUTA에서 특수한 사전 훈련 목표(예: 마스킹 토큰 예측, 헤더 복원, 맥락 연관성)를 도입하여 표 이해 성능 향상.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 어떻게 시각적 신호와 언어적 신호를 효과적으로 융합하여 문서 레이아웃 이해를 수행할 수 있는가?
• RQ2 실제 복잡한 문서에서 엔드 투 엔드 OCR 및 정보 추출을 위한 가장 효과적인 아키텍처는 무엇인가?
• RQ3 트랜스포머 기반 모델은 어떻게 레이아웃 인식 문서 이해에서 장문의 문서 시퀀스와 공간적 의존성을 처리하도록 적응시킬 수 있는가?
• RQ4 표 검출 및 구조 인식의 핵심 과제는 무엇이며, 다중모달 딥러닝을 통해 이를 어떻게 해결할 수 있는가?
• RQ5 저자원 문서 이해 작업에서 성능을 향상시키기 위해 어떤 사전 훈련 전략을 설계할 수 있는가?

주요 결과

• 컴퓨터 비전(CV)과 자연어 처리(NLP)를 융합한 다중모달 딥러닝 시스템은 전통적인 규칙 기반 또는 별도의 구성 요소 접근 방식보다 문서 이해에서 뛰어난 성능을 보인다.
• 2D 위치 임베딩을 갖춘 트랜스포머는 특히 표와 같은 복잡한 구조에서 문서 레이아웃 내의 공간적 관계 모델링에 있어 뚜렷한 향상을 이룬다.
• TUTA는 표 이해를 위한 작업별 사전 훈련 목표를 도입함으로써 셀 유형 분류에서 최신 기술 성능을 달성한다.
• DAG 기반의 그래프 표현은 임의로 깊은 계층과 복잡한 문서 요소 간의 관계를 모델링하는 데 기여한다.
• 액티브 러닝 및 다중 작업 학습 프레임워크는 표 검출 및 구조 인식에서 일반화 능력을 향상시키고 주석 비용을 줄인다.
• 진전에도 불구하고, 공개된 데이터셋이 제한되어 있음이 문서 이해 연구의 발전을 저해하는 주요 장애물로 남아 있다.