[논문 리뷰] Learning to Deblur

Christian J. Schuler, Michael Hirsch외 2명|arXiv (Cornell University)|2014. 06. 28.

Advanced Image Processing Techniques참고 문헌 2인용 수 16

한 줄 요약

이 논문은 일반적인 딥러닝 구성 요소와 이미지 디컨볼루션 전용 연산을 결합한 고유한 엔드 투 엔드 훈련, 계층적 신경망 아키텍처를 사용하여 블라인드 이미지 디컨볼루션을 위한 딥러닝 기반 접근법을 제안한다. 이 방법은 합성으로 생성된 흐린 이미지로만 훈련되어 이미지 품질과 추론 속도 측면에서 경쟁력 있는 디블러링 성능을 달성한다.

ABSTRACT

We describe a learning-based approach to blind image deconvolution. It uses a deep layered architecture, parts of which are borrowed from recent work on neural network learning, and parts of which incorporate computations that are specific to image deconvolution. The system is trained end-to-end on a set of artificially generated training examples, enabling competitive performance in blind deconvolution, both with respect to quality and runtime.

연구 동기 및 목표

• 이미지 품질과 계산 효율성을 모두 향상시키는 학습 기반 블라인드 이미지 디컨볼루션 방법을 개발하는 것.
• 신경망 학습과 전용 디컨볼루션 연산을 통합한 딥 레이어드 아키텍처를 설계하는 것.
• 인위적으로 생성된 흐린 이미지로 엔드 투 엔드 훈련을 수행하여 강건한 디블러링 성능을 달성하는 것.
• 기존 방법들과 비교해 뛰어난 디블러링 품질과 런타임 성능을 달성하는 것.

제안 방법

• 이 접근법은 최근 신경망 연구에서 유래한 구성 요소와 이미지 디컨볼루션에 특화된 맞춤형 연산을 조합한 딥 레이어드 신경망 아키텍처를 활용한다.
• 훈련용으로 대규모 인위적 흐린 이미지 쌍 데이터셋을 사용하며, 참조 이미지(명료한 이미지)와 그에 대응하는 흐린 이미지가 쌍으로 제공된다.
• 아키텍처는 이미지 흐림의 물리적 과정을 모델링하는 전용 레이어를 포함하여, 네트워크가 역디컨볼루션 맵핑을 학습할 수 있도록 한다.
• 훈련 과정은 예측된 이미지와 참조 이미지 간의 시각적 유사성과 구조적 유사성 최적화를 목표로 한다.
• 딥러닝을 활용해 단일 통합 프레임워크 내에서 블러 커널과 이미지 재구성을 암묵적으로 학습한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 블러 커널에 대한 명시적 사전 지식 없이도 블러 과정을 효과적으로 뒤집어 놓을 수 있는가?
• RQ2 합성 데이터로 엔드 투 엔드 훈련한 모델이 실제 세계의 디블러링 작업에 어떻게 적용되는가?
• RQ3 일반적인 학습과 도메인 전용 연산을 융합한 하이브리드 신경망 아키텍처가 디블러링 품질과 속도를 얼마나 향상시킬 수 있는가?
• RQ4 블라인드 디컨볼루션 환경에서 모델 복잡도와 디블러링 성능 사이의 상호 상충 관계는 어떠한가?

주요 결과

• 제안된 방법은 벤치마크 데이터셋에서 기존의 여러 블라인드 디컨볼루션 기법들을 능가하는 경쟁력 있는 디블러링 품질을 달성한다.
• 모델은 빠른 추론 시간을 보이며, 실시간 또는 상호작용형 응용 분야에 적합하다.
• 합성 데이터로 엔드 투 엔드 훈련을 통해 훈련 세트에 포함되지 않은 새로운 유형의 블러에 대해서도 잘 일반화됨을 입증한다.
• 딥 네트워크 아키텍처에 디컨볼루션 전용 연산을 통합함으로써 재구성 정밀도가 향상됨을 확인했다.