[논문 리뷰] UVDoc: Neural Grid-based Document Unwarping

Floor Verhoeven, Tanguy Magne외 1명|arXiv (Cornell University)|2023. 01. 01.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 단일 RGB 이미지에서 3D 문서 형상과 2D 편평화 그리드를 예측하기 위해 이중 작업 완전 컨volution 신경망을 사용하는 새로운 신경 격자 기반 문서 편평화 방법인 UVDoc을 소개한다. 주요 기여는 합성 이미지와 실세계 이미지 간의 도메인 갭을 줄이는 데에 기여하는 새로운 가짜 사진 유사 데이터셋인 UVDoc으로, 이는 기준 데이터셋에서 최신 성능을 달성하게 하며 조명 보정 MS-SSIM 및 선 직선도 평가와 같은 향상된 지표를 제공한다.

ABSTRACT

Restoring the original, flat appearance of a printed document from casual photographs of bent and wrinkled pages is a common everyday problem. In this paper we propose a novel method for grid-based single-image document unwarping. Our method performs geometric distortion correction via a fully convolutional deep neural network that learns to predict the 3D grid mesh of the document and the corresponding 2D unwarping grid in a dual-task fashion, implicitly encoding the coupling between the shape of a 3D piece of paper and its 2D image. In order to allow unwarping models to train on data that is more realistic in appearance than the commonly used synthetic Doc3D dataset, we create and publish our own dataset, called UVDoc, which combines pseudo-photorealistic document images with physically accurate 3D shape and unwarping function annotations. Our dataset is labeled with all the information necessary to train our unwarping network, without having to engineer separate loss functions that can deal with the lack of ground-truth typically found in document in the wild datasets. We perform an in-depth evaluation that demonstrates that with the inclusion of our novel pseudo-photorealistic dataset, our relatively small network architecture achieves state-of-the-art results on the DocUNet benchmark. We show that the pseudo-photorealistic nature of our UVDoc dataset allows for new and better evaluation methods, such as lighting-corrected MS-SSIM. We provide a novel benchmark dataset that facilitates such evaluations, and propose a metric that quantifies line straightness after unwarping. Our code, results and UVDoc dataset are available at https://github.com/tanguymagne/UVDoc.

연구 동기 및 목표

• 문서 편평화 과정에서 합성 학습 데이터와 실세계 문서 사진 간의 도메인 갭을 해결하기 위해.
• 기하학적 왜곡 보정을 위해 3D 문서 형상과 2D 편평화 그리드를 동시에 예측하는 딥러닝 모델을 개발하기 위해.
• 강건한 훈련과 평가를 가능하게 하기 위해 풍부한 지표값을 갖춘 고품질의 현실적인 데이터셋을 구축하기 위해.
• 쌍체의 음영이 있는 이미지와 음영이 없는 이미지를 통해 기하학적 왜곡과 조명 효과를 분리함으로써 새로운 평가 패러다임을 가능하게 하기 위해.
• 기존의 표준 이미지 무결성 지표를 넘어서 편평화 품질을 정량적으로 평가할 수 있는 새로운 선 직선도 지표를 도입하기 위해.

제안 방법

• 이중 헤드 완전 컨volution 신경망이 단일 프로퍼그레이션 내에서 문서의 3D 격자 메쉬와 2D 역방향 편평화 그리드를 모두 예측하도록 훈련된다.
• 내용 인식 손실(L𝑟)을 포함한 L1, 인지적, 내용 기반 손실의 조합을 사용하여 문서 콘텐츠와의 정렬을 향상시키기 위해 엔드 투 엔드로 훈련된다.
• 실제 종이 질감과 제어된 조명을 사용한 이미지 컴posit링 기법을 통해 가짜 사진 유사한 외관을 갖는 UVDoc 데이터셋이 생성된다.
• UVDoc의 각 이미지는 음영이 있는 버전(UV-lit)과 음영이 없는 버전과 쌍을 이루며, 조명 보정 평가가 가능해진다.
• 지표값으로 3D 기하학적 형상과 편평화 함수가 제공되는 20,000장의 이미지가 포함되어 있으며, 격자 기반 모델의 직접 훈련을 위해 애너테이션됨.
• 편평화된 텍스트 라인의 구조적 품질을 정량적으로 평가하기 위해 새로운 선 직선도 지표가 제안된다.

실험 결과

연구 질문

• RQ1 가짜 사진 유사 데이터로 훈련된 신경망이 순수하게 합성 데이터로 훈련된 모델보다 실세계 문서 편평화 기준에서 더 우수한 일반화 및 성능을 달성할 수 있는가?
• RQ2 실제 이미지 분포 내에서 물리적으로 정확한 3D 형상과 편평화 함수 지표값을 포함하면 모델 성능과 평가 무결성에 어떤 영향을 미치는가?
• RQ3 3D 형상과 2D 편평화 그리드를 동시에 예측하는 이중 작업 네트워크 아키텍처가 단일 작업 접근법에 비해 기하학적 보정 성능을 얼마나 향상시킬 수 있는가?
• RQ4 데이터셋 내 쌍체의 음영이 있는 이미지와 음영이 없는 이미지의 가용성이 조명 잡음과 기하학적 왜곡을 분리함으로써 더 견고한 평가를 가능하게 하는가?
• RQ5 제안된 선 직선도 지표가 기존의 표준 이미지 유사도 지표보다 편평화 품질 평가에 더 의미 있는가?

주요 결과

• 제안된 방법은 DocUNet 기준에서 최신 성능을 달성하여, UVDoc 데이터로 미세조정한 후 MS-SSIM을 0.475에서 0.504로 향상시키고 CER를 0.222에서 0.228로 감소시켰다.
• UVDoc 기준에서, MS-SSIM은 0.725를 기록했으며, Doc3D로만 훈련된 모델 대비 H-line 오차를 3.48에서 2.88로, V-line 오차를 4.75에서 3.56으로 감소시켰다.
• 제거 실험 결과, 3D 격자 예측 헤드와 내용 기반 손실(L𝑟)을 모두 사용할 경우 성능이 가장 우수하여 H-line 오차는 1.85로, V-line 오차는 2.53으로 감소하였다.
• UVDoc 데이터를 훈련에 활용함으로써 모델의 텍스트 구조 유지 능력이 향상되었으며, UVDoc 기준에서 AD(평균 왜곡)가 15% 감소하고 CER(문자 오류율)가 12% 감소하였다.
• 쌍체의 음영이 있는 이미지와 음영이 없는 이미지를 통해 가능해진 조명 보정 MS-SSIM 지표는 표준 MS-SSIM보다 더 정확하고 견고한 편평화 품질 평가를 제공한다.
• 제안된 선 직선도 지표는 인간의 인지와 강한 상관관계를 보이며, 특히 텍스트 라인 정렬 측면에서 기존 지표가 포착하지 못하는 성능 차이를 드러낸다.