[논문 리뷰] Recovering Homography from Camera Captured Documents using Convolutional Neural Networks

Syed Ammar Abbas, Sibt ul Hussain|arXiv (Cornell University)|2017. 09. 11.

Handwritten Text Recognition Techniques인용 수 6

한 줄 요약

이 논문은 카메라로 촬영한 문서 이미지에서 투시변환을 자동으로 복구하기 위해 컨volutional 네ural 네트워크(CNN)를 사용하는 딥러닝 접근법을 제안한다. 수동 입력 없이도 투시보정을 가능하게 하며, 대규모 합성 데이터셋을 기반으로 엔드 투 엔드로 훈련된 방법은 L1 손실을 사용하여 네 개의 모서리 점을 회귀한다. 실제 테스트 이미지에서 평균 거리 오차(MDE)가 2.56 픽셀로 최신 기술 수준(SOTA) 성능을 달성했으며, CamScanner 및 ABBYY-Reader와 같은 상용 도구를 능가한다.

ABSTRACT

Removing perspective distortion from hand held camera captured document images is one of the primitive tasks in document analysis, but unfortunately, no such method exists that can reliably remove the perspective distortion from document images automatically. In this paper, we propose a convolutional neural network based method for recovering homography from hand-held camera captured documents. Our proposed method works independent of document's underlying content and is trained end-to-end in a fully automatic way. Specifically, this paper makes following three contributions: Firstly, we introduce a large scale synthetic dataset for recovering homography from documents images captured under different geometric and photometric transformations; secondly, we show that a generic convolutional neural network based architecture can be successfully used for regressing the corners positions of documents captured under wild settings; thirdly, we show that L1 loss can be reliably used for corners regression. Our proposed method gives state-of-the-art performance on the tested datasets, and has potential to become an integral part of document analysis pipeline.

연구 동기 및 목표

• 손동작으로 촬영한 문서 이미지에서 신뢰할 수 있고 완전히 자동화된 투시보정 방법의 부족을 해결하기 위해.
• 문서의 내용, 레이아웃, 텍스트 구조(예: 여백 또는 평행선 등)에 관계없이 작동하는 방법을 개발하기 위해.
• 다양한 광학적 및 기하학적 왜곡을 캡처하는 대규모 합성 데이터셋을 구축하여 강건한 투시변환 추정에 활용하기 위해.
• 실제 환경에서 모서리 회귀에 대한 L1 손실과 4점 투시변환 파rameterization의 효과를 평가하기 위해.
• 어려운 실제 환경 조건에서도 기존 상용 및 학술적 방법을 뛰어넘는 정확성과 강건성을 확보하기 위해.

제안 방법

• 이 방법은 단일 입력 이미지에서 문서의 네 개의 모서리 점을 회귀하기 위해 엔드 투 엔드로 훈련된 고유한 컨volutional 네ural 네트워크 아키텍처를 사용한다.
• 기하학적 및 광학적 변형(예: 회전, 스케일링, 조명 변화, 배경 혼잡함 등)을 시뮬레이션하는 대규모 합성 데이터셋을 도입한다.
• 투시변환을 3×3 행렬이 아닌 네 개의 모서리 점으로 파arameterization함으로써 훈련 과정이 더 안정적이고 성능이 향상된다.
• 예측된 모서리 위치와 진짜 값 간의 유클리드 거리를 최소화하기 위해 네트워크를 L1 손실로 훈련한다.
• 모델은 실제 테스트 이미지에서 평가되며, CamScanner 및 ABBYY-Reader와 같은 상용 도구와 함께 정성적 및 정량적 지표를 사용해 비교된다.
• 이 방법은 효율적이며, Tesla K40 GPU에서 한 번의 순방향 전파에 0.04초가 소요된다.

실험 결과

연구 질문

• RQ1 손동작으로 촬영한 문서 이미지에서 수동 특징 추출 없이도 딥 컨볼루션 네트워크가 투시변환을 효과적으로 추정할 수 있는가?
• RQ2 모서리 회귀에 L1 손실을 사용할 경우, L2 손실 대비 성능 향상이 이루어지는가?
• RQ3 실제 세계 왜곡의 진정된 분포를 반영하는 합성 데이터셋이 투시변환 복구에서 최신 기술 수준의 성능을 달성하는 데 기여하는가?
• RQ4 CamScanner 및 ABBYY-Reader와 같은 상용 응용 프로그램과 비교했을 때, 제안된 방법은 어려운 조건에서 정확성과 강건성 면에서 어떻게 성능을 내는가?
• RQ5 4점 투시변환 파arameterization은 기존의 3×3 행렬 표현 방식보다 더 안정적이고 정확한 결과를 도출하는가?

주요 결과

• 수동으로 애너테이션된 400장의 이미지로 구성된 테스트 세트에서 제안된 방법은 평균 거리 오차(MDE)가 2.56 픽셀로, CamScanner(21.5 픽셀) 및 ABBYY-Reader(20.6 픽셀)를 크게 앞서는 성능을 보였다.
• 강한 조명 아티팩트, 배경 혼잡함, 운동 흐림, 부분적 가림 등에서 상용 도구가 종종 실패하는 상황에서도 뛰어난 강건성을 보였다.
• SmartDoc-QA 데이터셋에서, 복잡한 기하학적 및 광학적 변형 조건에서도 기준 보정 방법 대비 OCR 성능을 일관되게 향상시켰다.
• 모서리 회귀에 L1 손실을 사용할 경우 L2 손실 대비 더 나은 일반화 및 안정성을 확보했지만, 성능 차이는 통계적으로 유의미하지 않았다.
• 4점 투시변환 파arameterization은 더 안정적인 손실 함수를 제공하고, 3×3 행렬 표현 방식에 비해 최신 기술 수준의 성능을 달성했다.
• 이 방법은 완전히 자동화되고 내용에 관계없이 적용 가능하며, 문서 레이아웃, 여백, 텍스트라인 평행성에 대한 가정이 필요 없다.