[논문 리뷰] DocAligner: Annotating Real-world Photographic Document Images by Simply Taking Pictures

Jiaxin Zhang, Bangdong Chen외 4명|arXiv (Cornell University)|2023. 06. 09.

Handwritten Text Recognition Techniques인용 수 4

한 줄 요약

DocAligner는 밀도 높은 대응 관계를 설정하여 실생활 사진 촬영 문서 이미지의 자동 레이블링을 자동화함으로써 기존 레이블의 자동 전이 및 비정규 변형, 계층적 상관관계, 반복적 정밀 조정을 통한 새로운 레이블 생성을 가능하게 한다. 이는 수동 레이블링 시간을 최소 30배 감소시키며 레이아웃 분석, 조명 보정, 기하학적 정규화 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Recently, there has been a growing interest in research concerning document image analysis and recognition in photographic scenarios. However, the lack of labeled datasets for this emerging challenge poses a significant obstacle, as manual annotation can be time-consuming and impractical. To tackle this issue, we present DocAligner, a novel method that streamlines the manual annotation process to a simple step of taking pictures. DocAligner achieves this by establishing dense correspondence between photographic document images and their clean counterparts. It enables the automatic transfer of existing annotations in clean document images to photographic ones and helps to automatically acquire labels that are unavailable through manual labeling. Considering the distinctive characteristics of document images, DocAligner incorporates several innovative features. First, we propose a non-rigid pre-alignment technique based on the document's edges, which effectively eliminates interference caused by significant global shifts and repetitive patterns present in document images. Second, to handle large shifts and ensure high accuracy, we introduce a hierarchical aligning approach that combines global and local correlation layers. Furthermore, considering the importance of fine-grained elements in document images, we present a details recurrent refinement module to enhance the output in a high-resolution space. To train DocAligner, we construct a synthetic dataset and introduce a self-supervised learning approach to enhance its robustness for real-world data. Through extensive experiments, we demonstrate the effectiveness of DocAligner and the acquired dataset. Datasets and codes will be publicly available.

연구 동기 및 목표

• 실생활 시나리오에서 문서 AI의 진전을 저해하는 데 기여하는 실제 사진 촬영 문서 이미지 데이터셋의 부족 문제를 해결하기 위해.
• 이미지 간 대응 관계를 통해 레이블 자동 생성을 가능하게 함으로써 고비용·고시간 소요 수동 레이블링이 필요 없도록 하기 위해.
• 비정규 변형, 시점 이동, 반복 패턴 등에 비해 강건한 밀도 높은 대응 관계 수립을 위한 강력한 방법 개발을 위해.
• 일반화 성능 향상을 위해 고품질의 합성 데이터셋과 자기지도 학습 전략을 구축하기 위해.
• 레이아웃 분석, 조명 보정, 기하학적 정규화 등 다양한 문서 AI 작업에서의 실용적 유용성을 입증하기 위해.

제안 방법

• 전역 이동과 반복 패턴을 다루기 위해 비정규 변형 사전 정렬을 위한 투명판 스플라인(TPS)을 제안하여 초기 정렬의 강건성을 향상시킴.
• 글로벌 및 로컬 상관관계 레이어를 조합한 계층적 정렬 모듈과 코arse-to-fine 흐름 예측을 통해 고정밀도 밀도 높은 대응 관계를 달성함.
• 메모리 효율적인 ConvGRU를 사용한 세부사항 반복 정밀 조정 모듈을 설계하여 고해상도 흐름 출력의 정밀도를 향상시키고 미세한 문자 수준의 세부 정보를 유지함.
• 실제 조명 맵을 사용해 왜곡된 흐름으로 변형된 PDF 기반 청소된 이미지를 활용해 사진 촬영 왜곡을 시뮬레이션하는 합성 데이터셋을 구축함.
• 실제 흐름 레이블이 없는 상황에서 실생활 사진 데이터에 대한 일반화 성능 향상을 위해 학습 중 자기지도 학습 접근법을 적용함.
• 기하학적 정규화 등의 최종 작업에 대해 트랜스포머 기반 아키텍처를 활용하고, DocAligner를 통해 확보한 실제 데이터로 훈련하여 최신 기술 수준(SOTA) 성능 달성함.

Figure 1 : Automatic annotation for real-world photographic document images via DocAligner. All you need to do is take pictures.

실험 결과

연구 질문

• RQ1 비정규 변형과 복잡한 패턴에도 불구하고 청소된 문서와 사진 촬영 문서 이미지 간의 밀도 높은 대응 관계를 효과적으로 설정할 수 있는가?
• RQ2 수동 레이블링을 완전히 제거하고 간단히 인쇄된 문서를 찍는 것으로만 자동 레이블링을 수행할 수 있는가?
• RQ3 제안된 비정규 사전 정렬이 다양한 문서 왜곡을 다루는 데 있어 투영 변환(Homography)과 같은 정규 변환보다 우수한가?
• RQ4 계층적 정렬 및 반복 정밀 조정 모듈이 고해상도 문서 이미지에서 흐름 정확도와 세부 정보 유지에 크게 기여하는가?
• RQ5 합성 데이터에 대한 자기지도 학습 전략과 실제 데이터 확보를 조합하면 실생활 문서 AI 작업에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• DocAligner는 레이아웃 분석 데이터 레이블링 시 수동 레이블링 시간을 최소 30배 감소시켜 레이블링 비용을 크게 낮춤.
• 비정규 사전 정렬 및 세부사항 반복 정밀 조정을 모두 사용할 경우 DocUNet 벤치마크에서 MS-SSIM 0.8058 및 AD 0.0486을 달성하여 분석 제거된 변형 버전보다 뛰어난 성능을 보임.
• DocAligner를 통해 확보한 실제 데이터로 훈련한 트랜스포머 기반 기하학적 정규화 모델은 MS-SSIM 0.4897 및 AD 0.4226을 기록하며 더 큰 합성 데이터셋으로 훈련한 모델를 초월함.
• 합성 데이터셋에서 자기지도 학습을 통해 일반화 성능 향상이 가능하여, 실제 레이블이 제한된 상황에서도 실생활 데이터에서 강력한 성능을 발휘함.
• 분석 연구를 통해 비정규 사전 정렬 및 세부사항 반복 정밀 조정이 모두 필수적임을 확인하였으며, 둘 중 하나라도 제거할 경우 성능이 크게 저하됨.
• 이 방법을 통해 청소된 문서 이미지에서 사진 촬영 문서로의 자동 레이블 전이가 가능해져 레이아웃 분석, 표 인식 등 작업을 위한 빠른 데이터 생성이 가능해짐.

Figure 2 : Overall architecture of DocAligner. Considering photographic $I_{s}$ and clean $I_{t}$ , DocAligner aims to densely correlate each pixel in $I_{t}$ with $I_{s}$ .