[논문 리뷰] A Neural Approach to Blind Motion Deblurring

Ayan Chakrabarti|arXiv (Cornell University)|2016. 03. 15.

Advanced Image Processing Techniques참고 문헌 18인용 수 49

한 줄 요약

이 논문은 각 이미지 패치에 대해 복소수 푸리에 계수를 예측하는 신경망을 사용하여 블라인드 운동 디블러어링을 위한 딥러닝 접근법을 제안한다. 겹치는 패치들에 대해 네트워크를 독립적으로 적용하고 전역적으로 추정된 블러 커널로 정제함으로써, 반복적 방법에 비해 훨씬 빠른 추론(그래픽스 프로세서에서 65초)을 통해 최신 기술 수준의 정확도를 달성하면서도 다양한 블러 커널에 대해 뛰어난 강건성을 유지한다.

ABSTRACT

We present a new method for blind motion deblurring that uses a neural network trained to compute estimates of sharp image patches from observations that are blurred by an unknown motion kernel. Instead of regressing directly to patch intensities, this network learns to predict the complex Fourier coefficients of a deconvolution filter to be applied to the input patch for restoration. For inference, we apply the network independently to all overlapping patches in the observed image, and average its outputs to form an initial estimate of the sharp image. We then explicitly estimate a single global blur kernel by relating this estimate to the observed image, and finally perform non-blind deconvolution with this kernel. Our method exhibits accuracy and robustness close to state-of-the-art iterative methods, while being much faster when parallelized on GPU hardware.

연구 동기 및 목표

• 반복 최적화 기법의 느린 수렴을 피하면서도 빠르고 강건한 블라인드 운동 디블러어링 방법을 개발하기 위해.
• 수작업으로 설정한 사전 지식 대신 데이터로부터 자연 이미지와 블러 커널의 사전 지식을 암묵적으로 학습하기 위해 딥러닝을 활용하기 위해.
• 지역적인 이미지 영역에서 독립적으로 작동하는 패치 기반 신경망 아키텍처를 설계하여 효율적이고 병렬 처리 가능한 추론을 가능하게 하기 위해.
• GPU 가속을 통해 반복적 방법과 유사한 성능을 달성하면서도 런타임을 극적으로 줄이기 위해.
• 반복적 보정 없이도 분류 기반으로 훈련된 신경망을 사용해 블라인드 디컨볼루션을 수행할 수 있는지 탐색하기 위해.

제안 방법

• 핵심 방법은 각 블러 처리된 이미지 패치에 대해 복소수 푸리에 계수를 예측하는 컨볼루션 신경망을 훈련시키는 것이다.
• 네트워크는 입력 패치의 다중 해상도 주파수 분해를 사용하고 주파수 국소 연결을 활용하여 파rameter 수를 줄이고 큰 블러 커널에 대한 일반화 능력을 향상시킨다.
• 이미지 복원을 위해 네트워크는 입력 이미지의 모든 겹치는 패치에 대해 독립적으로 적용되며, 그 출력을 평균하여 초도 선명한 이미지 추정치를 생성한다.
• 그 후, 초도 추정치와 관측된 블러 이미지 간의 관계를 기반으로 최소 제곱 문제를 풀어 단일 전역 블러 커널을 명시적으로 추정한다.
• 마지막으로, 추정된 전역 커널을 사용하여 비블라인드 디컨볼루션을 수행하여 최종 디블러어드 출력을 도출한다.
• 전체 파ip라인은 엔드 투 엔드로 미분 가능하며, 대규모 블러-선명한 이미지 쌍 데이터셋에서 분류 기반으로 훈련된다.

실험 결과

연구 질문

• RQ1 반복적 보정 없이도 분류 기반으로 훈련된 신경망이 반복적 방법과 유사한 성능을 달성할 수 있는가?
• RQ2 주파수 도메인 필터 예측을 수행하는 패치 기반 신경망이 큰 임의의 운동 블러 커널에 잘 일반화될 수 있는가?
• RQ3 데이터로부터 암묵적인 사전 지식을 학습하는 것이 기존의 수작업 사전 지식에 비해 다양한 이미지 콘텐츠에 대해 더 강건한 성능을 보일 수 있는가?
• RQ4 GPU 병렬 처리를 활용하여 패치 기반 추론 전략을 효율적이고 확장 가능하게 만들 수 있는가?
• RQ5 다양한 커널 크기에서 제안된 방법의 정확도와 속도가 반복적 및 히우리스틱 기반 방법과 비교해 어떻게 되는가?

주요 결과

• 제안된 방법은 [2] 및 [3]의 최신 기술 수준 반복적 방법과 유사한 디블러어링 성능을 달성하며, 다양한 커널 크기 범위에서 일관된 성공률을 유지한다.
• 이 방법은 NVIDIA Titan X GPU에서 65초 내에 실행되며, [2]의 91분, [3]의 38분(다중 코어 CPU 기준)보다 100배 이상 빠르다.
• 제안된 방법은 기존의 신경망 접근법 [16]보다 큰 블러 커널에 대해 훨씬 더 뛰어난 강건성을 보이며, 커널 크기가 증가함에 따라 정확도가 급격히 떨어지는 문제를 애초에 피한다.
• 제안된 방법의 실패 케이스는 훈련 데이터에 존재하지 않는 모호한 무늬에서 기인하며, 이는 네트워크의 암묵적 사전 지식이 일반적인 시나리오 유형에 잘 일반화됨을 시사한다.
• 방법의 성능은 다양한 이미지 카테고리에서 안정적이고 일관되며, 실패 모드는 아키텍처의 구조적 한계보다는 데이터 분포의 변화와 더 밀접하게 관련되어 있다.
• 주파수 도메인 특징 인코딩과 국소 연결을 사용함으로써 훈련 가능한 파라미터 수를 줄여 큰 패치와 큰 블러 커널에서도 효과적인 훈련이 가능해졌다.