[논문 리뷰] DocScanner: Robust Document Image Rectification with Progressive Learning

Hao Feng, Wengang Zhou외 3명|arXiv (Cornell University)|2021. 10. 28.

Handwritten Text Recognition Techniques참고 문헌 67인용 수 15

한 줄 요약

DocScanner는 반복적으로 개선하는 단일 보정 이미지 추정을 통해 기하학적 왜곡을 보정하는 점진적 학습 프레임워크를 제안한다. 순환 구조를 사용하여 성능을 향상시키며, OCR 정확도, 이미지 유사도, 그리고 새로운 왜곡 지표에서 최신 기술 수준을 달성하면서도 높은 효율성을 유지한다. 이 방법은 기하학적 정규화와 원형 일致성 손실을 활용하여 강인성과 수렴 성능을 향상시킨다.

ABSTRACT

Compared with flatbed scanners, portable smartphones provide more convenience for physical document digitization. However, such digitized documents are often distorted due to uncontrolled physical deformations, camera positions, and illumination variations. To this end, we present DocScanner, a novel framework for document image rectification. Different from existing solutions, DocScanner addresses this issue by introducing a progressive learning mechanism. Specifically, DocScanner maintains a single estimate of the rectified image, which is progressively corrected with a recurrent architecture. The iterative refinements make DocScanner converge to a robust and superior rectification performance, while the lightweight recurrent architecture ensures the running efficiency. To further improve the rectification quality, based on the geometric priori between the distorted and the rectified images, a geometric regularization is introduced during training to further improve the performance. Extensive experiments are conducted on the Doc3D dataset and the DocUNet Benchmark dataset, and the quantitative and qualitative evaluation results verify the effectiveness of DocScanner, which outperforms previous methods on OCR accuracy, image similarity, and our proposed distortion metric by a considerable margin. Furthermore, our DocScanner shows superior efficiency in runtime latency and model size.

연구 동기 및 목표

• 스마트폰 촬영 문서 이미지의 기하학적 왜곡 문제를 해결한다. 이는 카메라 각도, 조명 조건, 종이의 변형 등에 기인한다.
• 기존 딥러닝 방법들이 큰 변형과 높은 계산 비용으로 인해 어려움을 겪는 문제를 해결한다.
• 실제 모바일 장치에 배포 가능한 경량, 효율적이고 강인한 보정 프레임워크를 개발한다.
• 점진적 반복적 개선과 기하학적 사전 지식을 통해 보정 품질을 향상시킨다.
• 보정된 이미지의 전반적 기하학적 왜곡을 평가하기 위한 새로운 왜곡 지표(Li-D)를 도입한다.

제안 방법

• 단일 보정 이미지 추정을 반복적으로 개선하는 순환 U-Net 유사 아키텍처를 사용한다.
• 이중선형 보간보다 더 나은 미세 척도 변형 복구를 위해 흐름 예측을 위한 학습 가능한 업샘플링 모듈을 사용한다.
• 정보를 반복 간 통합하고 공간 일관성을 유지하기 위해 ConvGRU 기반 업데이터 유닛을 구현한다.
• 보정된 이미지에서 직선이 그대로 유지되어야 한다는 사전 지식을 기반으로 훈련 중 기하학적 정규화를 적용한다.
• 행과 열을 따라 직선 제약 조건을 강제로 적용하기 위해 원형 일치성 손실을 도입한다. 이는 전반적 왜곡 감소에 기여한다.
• 효율성을 유지하기 위해 반복 간 가중치를 공유한다. 제거된 가중치 실험 결과, 가중치를 분리하면 약간의 성능 향상이 있으나 파rameter 수가 증가한다.

실험 결과

연구 질문

• RQ1 순환 아키텍처에서 반복적 점진적 개선이 단일 단계 딥러닝 방법에 비해 문서 이미지 보정 성능을 향상시키는가?
• RQ2 직선 제약 조건 기반 기하학적 정규화가 보정된 이미지의 전반적 왜곡 감소에 어떤 영향을 미치는가?
• RQ3 원형 일치성 손실이 기하학적 정밀도 측면에서 보정된 문서 이미지 품질 향상에 어느 정도 기여하는가?
• RQ4 제안된 방법은 보정 정확도와 추론 효율성, 모델 크기 사이에서 어떻게 균형을 이룹니까?
• RQ5 특정 경우에 문서 경계가 불완전하거나 누락된 이미지에 대해서도 일반화가 가능한가? (학습 데이터에 명시적으로 포함되지 않았음)

주요 결과

• DocScanner는 DocUNet Benchmark 및 Doc3D 데이터셋에서 이전 최신 기술 수준의 방법들을 초월하여 OCR 정확도, 이미지 유사도, 그리고 제안된 Li-D 왜곡 지표에서 모두 뛰어난 성능을 보였다.
• 수렴 후 뛰어난 성능을 달성하였으며, DocScanner-B는 약 4회 반복 후 DewarpNet을, 약 8회 반복 후 DocGeoNet을 능가하였다.
• 200회 반복까지도 안정적인 수렴을 보이며 과적합이나 발산에 대한 강인성을 입증하였다.
• 흐름 예측을 위한 학습 가능한 업샘플링 모듈 사용은 이중선형 보간 대비 더 나은 성능을 내었으며, 특히 미세한 변형 복구에 유리했다.
• 원형 일치성 손실은 DocUNet Benchmark 전반적인 지표에서 뚜렷한 성능 향상을 가져왔으며, 이는 전반적 왜곡 감소에 효과적임을 확인시켰다.
• 불완전하거나 누락된 문서 경계가 있는 이미지에 대해서도 DocScanner는 부분적인 보정 기능을 유지하며, 학습 분포 외 일반화 능력을 보여주었다.