[논문 리뷰] Document Rectification and Illumination Correction using a Patch-based CNN

Xiaoyu Li, Bo Zhang외 2명|arXiv (Cornell University)|2019. 09. 20.

Advanced Vision and Imaging참고 문헌 35인용 수 8

한 줄 요약

이 논문은 겹치는 영역을 가진 이미지 패치에 기반한 CNN 방법을 제안하며, 단일 이미지 문서 보정 및 조명 보정을 수행한다. 국소적 왜곡 흐름 추정을 바탕으로 하며, 기울기 영역 스티칭과 추가적인 조명 보정 네트워크를 통해 처리한다. 기존 방법들과 비교해 더 높은 OCR 정확도와 시각적 품질을 달성하며, 특히 복잡한 왜곡 상황에서 뛰어난 성능을 보이며, 단지 1,000장의 합성 학습 이미지만을 사용한다.

ABSTRACT

We propose a novel learning method to rectify document images with various distortion types from a single input image. As opposed to previous learning-based methods, our approach seeks to first learn the distortion flow on input image patches rather than the entire image. We then present a robust technique to stitch the patch results into the rectified document by processing in the gradient domain. Furthermore, we propose a second network to correct the uneven illumination, further improving the readability and OCR accuracy. Due to the less complex distortion present on the smaller image patches, our patch-based approach followed by stitching and illumination correction can significantly improve the overall accuracy in both the synthetic and real datasets.

연구 동기 및 목표

• 원시 투영 및 물리적 변형(접힘, 말림 등)으로 인해 발생하는 단일 뷰 문서 이미지의 기하학적 왜곡을 해결하기 위해.
• 보정된 문서에서 균일하지 않은 조명과 샘플링 아티팩트를 보정하여 OCR 정확도를 향상시키기 위해.
• 특수 하드웨어나 다중 뷰를 요구하지 않으며, 다양한 문서 유형에 대해 잘 일반화되는 딥 러닝 방법을 개발하기 위해.
• 복잡한 조명, 질감, 변형을 반영하는 현실적인 합성 데이터셋을 구축하여 학습에 활용하기 위해.
• 기존의 학습 기반 및 비학습 기반 방법들보다 보정 정확도와 실제 왜곡에 대한 강건성 측면에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 입력 문서 이미지를 겹치는 영역이 25%인 패치로 분할하여 국소적 왜곡 학습을 단순화한다.
• 각 패치에 대해 국소적 2차원 이동 벡터장(왜곡 흐름)을 예측하는 CNN을 학습시켜 국소적 기하학적 보정을 가능하게 한다.
• 패치 결과를 기울기 영역 융합 기법을 사용해 스티칭하여 경계 부근의 틈새를 최소화하고 일관성을 유지한다.
• 스티칭된 이미지에서 비균일한 조명과 샘플링 아티팩트를 보정하기 위해 두 번째 CNN을 학습시켜 색상 충실도를 유지한다.
• 학습 데이터셋은 3D 표면 모델링, 현실적인 텍스처링, 동적 조명, 노출 시뮬레이션을 사용하여 합성하여 일반화 능력을 향상시킨다.
• 국소적 흐름 예측과 전역적 스티칭, 조명 보정을 조합하여 고품질의 OCR 준비가 된 문서 이미지를 달성한다.

실험 결과

연구 질문

• RQ1 복잡하고 공간적으로 변화하는 왜곡 상황에서, 패치 기반 CNN 접근 방식이 전역 흐름 학습보다 더 우수한 성능을 낼 수 있는가?
• RQ2 패치 수준의 보정 결과를 기울기 영역 기반으로 스티칭하는 것이 직접적인 전역 왜곡에 비해 더 일관되고 자연스러운 문서 이미지를 생성하는가?
• RQ3 전용 조명 보정 네트워크가 표준 이진화 기법을 초월해 OCR 정확도를 크게 향상시킬 수 있는가?
• RQ4 학습 데이터에 포함되지 않은 새로운 문서 유형(예: 포스터, 음악 시트 등)에 대해 이 방법이 잘 일반화되는가?
• RQ5 소규모 합성 데이터셋(1,000장)이 대규모 실세계 데이터셋(예: 10만 장)과 비교해 어느 정도의 성능을 달성할 수 있는가?

주요 결과

• 제안된 패치 기반 방법은 합성 및 실세계 데이터셋 모두에서 기존 최고 성능의 방법들, 특히 Ma et al. (2018)을 초월하여 OCR 정확도와 인지적 품질 측면에서 뛰어난 성능을 보였다.
• 단지 1,000장의 합성 학습 이미지만으로도, 10만 장의 이미지를 사용한 전역 학습 방법보다 뚜렷이 뛰어난 성능을 달성했다.
• 조명 보정이 인간의 가독성과 OCR 정확도를 모두 향상시켰으며, 특히 제안된 이중 네트워크 아키텍처에서 최고의 성능을 기록했다.
• 학습 데이터에 포함되지 않은 문서 유형(음악 시트, 포스터 등)에도 잘 일반화되어, 학습 분포를 초월한 강건성을 입증했다.
• 기울기 영역 스티칭 기법은 눈에 띄는 틈새와 아티팩트를 효과적으로 줄여, 더 일관되고 자연스러운 보정된 이미지를 만들어냈다.
• 극심한 찌그러짐, 오래된 손글씨 문서, 또는 매우 반사성이 높은 종이와 같은 극단적인 경우에서는 여전히 흐름 추정의 정확도가 떨어지는 한계가 존재한다.