[논문 리뷰] CNN for License Plate Motion Deblurring

Pavel Svoboda, Michal Hradiš외 2명|arXiv (Cornell University)|2016. 02. 25.

Advanced Image Processing Techniques참고 문헌 11인용 수 9

한 줄 요약

이 논문은 실질적인 교통 감시 시스템에서 촬영된 번호판 이미지의 블러를 제거하기 위해 컨볼루션 신경망(CNN) 기반 접근법을 제안하며, 근사된 블러 커널을 사용한 인위적 훈련 데이터를 활용한다. 이 방법은 전통적인 블라인드 디컨볼루션 기법보다 우수한 복원 품질을 달성하며, 부분적으로 제약된 커널 조건을 고려함으로써 합성 데이터로 훈련된 CNN이 실제 블러 패atters에 효과적으로 일반화됨을 보여준다.

ABSTRACT

In this work we explore the previously proposed approach of direct blind deconvolution and denoising with convolutional neural networks in a situation where the blur kernels are partially constrained. We focus on blurred images from a real-life traffic surveillance system, on which we, for the first time, demonstrate that neural networks trained on artificial data provide superior reconstruction quality on real images compared to traditional blind deconvolution methods. The training data is easy to obtain by blurring sharp photos from a target system with a very rough approximation of the expected blur kernels, thereby allowing custom CNNs to be trained for a specific application (image content and blur range). Additionally, we evaluate the behavior and limits of the CNNs with respect to blur direction range and length.

연구 동기 및 목표

• 실제 교통 감시 시스템에서 발생하는 부분적으로 제약된 블러가 있는 번호판 이미지의 운동 블러 문제를 해결하기 위해.
• 합성 데이터로 훈련된 CNN이 감시 영상의 실제 블러 패턴으로 일반화되는지 평가하기 위해.
• 블러 방향 및 길이 변화에 대한 CNN 성능의 한계를 조사하기 위해.
• 딥 러닝 기반 접근법이 실용적인 번호판 블러 제거 시나리오에서 기존의 블라인드 디컨볼루션을 능가할 수 있음을 보여주기 위해.

제안 방법

• 이 방법은 합성 데이터로 훈련된 CNN 아키텍처를 사용하는 직접적인 블라인드 디컨볼루션 및 노이즈 제거 프레임워크를 적용한다.
• 훈련 데이터는 대상 감시 시스템의 선명한 이미지에 예상되는 블러 커널의 근사치를 적용하여 생성된다.
• CNN은 블러된 입력에서 블러 커널과 기저의 선명한 이미지를 동시에 추정한다.
• 블러 커널에 대한 부분적 제약 조건을 활용하여 일반화 능력과 복원 정확도를 향상시킨다.
• 모델은 실제 감시 영상에서 평가되어 실제 조건 하에서의 성능을 점검한다.

실험 결과

연구 질문

• RQ1 합성 데이터로 훈련된 CNN이 기존의 블라인드 디컨볼루션 기법보다 실제 번호판 이미지의 블러 제거 성능을 뛰어나게 할 수 있는가?
• RQ2 블러 방향이나 길이가 훈련 분포를 초월할 경우 모델의 성능은 어떻게 되는가?
• RQ3 블러 커널의 범위와 방향에 대해 CNN의 성능 한계는 무엇인가?
• RQ4 부분적으로 제약된 블러 커널을 사용하면 실제 데이터에서의 일반화 능력이 향상되는가?

주요 결과

• CNN 기반 방법은 실제 번호판 이미지의 블러 제거에서 기존의 블라인드 디컨볼루션 기법보다 뚜렷하게 뛰어난 성능을 보였다.
• 실제로 인위적으로 블러 처리된 데이터로 훈련되었음에도 불구하고, 실제 블러 패턴으로의 일반화 능력이 뛰어나게 나타났다.
• 훈련 중에 관찰된 범위를 초월해 블러 방향이나 길이가 변할 경우 성능이 떨어지며, 이는 모델의 분포 이탈에 대한 민감도를 시사한다.
• 데이터 생성 과정에서 블러 커널의 근사치를 사용함으로써 정확한 블러 정보가 없더라도 효과적인 훈련이 가능하다.