[논문 리뷰] End-to-End Learning for Image Burst Deblurring

Patrick Wieschollek, Bernhard Schölkopf외 2명|arXiv (Cornell University)|2016. 07. 15.

Advanced Image Processing Techniques참고 문헌 33인용 수 7

한 줄 요약

이 논문은 주파수 도메인 가중치와 공간 도메인 디컨볼루션을 동시에 학습하는 하이브리드 아키텍처를 통해 이미지 버스트 디블러킹을 위한 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. FBA(푸리에 버스트 누적)와 디컨볼루션 필터 예측을 위한 신경망을 결합함으로써, 상태의 최고 수준의 선명도와 빠른 속도를 달성하며, 순차적 파이프라인보다 우수하고, 공간적으로 불변 및 변동성 있는 블러 모두를 처리할 수 있다.

ABSTRACT

We present a neural network model approach for multi-frame blind deconvolution. The discriminative approach adopts and combines two recent techniques for image deblurring into a single neural network architecture. Our proposed hybrid-architecture combines the explicit prediction of a deconvolution filter and non-trivial averaging of Fourier coefficients in the frequency domain. In order to make full use of the information contained in all images in one burst, the proposed network embeds smaller networks, which explicitly allow the model to transfer information between images in early layers. Our system is trained end-to-end using standard backpropagation on a set of artificially generated training examples, enabling competitive performance in multi-frame blind deconvolution, both with respect to quality and runtime.

연구 동기 및 목표

• 깊이 학습을 활용해 날카운 이미지와 블러 커널을 동시에 추정함으로써 다중 프레임 블라인드 디블러킹의 정의되지 않은 성격을 해결한다.
• FBA와 디컨볼루션을 별도로 처리하는 순차적 파이프라인의 한계를 극복하여, 리버버브 아티팩트와 최적화되지 않은 성능을 야기하는 문제를 해결한다.
• 주파수 도메인 가중치와 공간 디컨볼루션을 동시에 최적화할 수 있도록 엔드 투 엔드 훈련을 가능하게 하여 재구성 품질을 향상시킨다.
• 거의 날카로운 프레임이 없는 버스트에 대한 적용 가능성을 높이기 위해, 패치 기반 디컨볼루션 네트워크를 프론트엔드로 통합한다.
• 다양한 블러 조건, 특히 공간적으로 변화하는 블러를 포함한 다양한 환경에서 높은 이미지 품질을 유지하면서도 경쟁적인 런타임 성능을 달성한다.

제안 방법

• 학습 가능한 가중치를 갖는 가분리 가능한 레이어로 FBA 기법을 통합한 하이브리드 신경망 아키텍처를 제안하여 히우리스틱 평균화를 대체한다.
• Chakrabarti 등 [11]의 아이디어를 영감으로 삼아, 각 이미지 패치에 대해 디컨볼루션 필터의 복소수 푸리에 계수를 예측하는 프론트엔드 하위망을 도입한다.
• 주파수 도메인 처리 이전에 프레임 간 정보 공유를 가능하게 하기 위해 초기 레이어에 소형 신경망을 통합하여 버스트 전반에 걸친 특징 전달을 향상시킨다.
• 정의된 블러 커널을 날카운 이미지에 적용하여 생성한 합성 데이터를 사용해 전체 모델을 엔드 투 엔드로 훈련시킨다.
• 날카움과 아티팩트 억제를 최적화하기 위해 L1 또는 L2 재구성 오차 기반 손실 함수를 사용하여 네트워크 파라미터를 최적화한다.
• FBA 레이어를 주파수 도메인에서의 가분리 가능하고 학습 가능한 평균화 연산으로 적용하여, 전체 네트워크를 통해 기울기 흐름이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 통합된 딥 뉴럴 네트워크가 버스트 디블러킹을 위해 주파수 도메인 이미지 융합과 공간 디컨볼루션을 동시에 최적화할 수 있는가? 이는 순차적 파이프라인을 초월하는가?
• RQ2 FBA와 디컨볼루션 네트워크를 통합한 하이브리드 아키텍처를 엔드 투 엔드로 훈련시키면, 연결된 방법에 비해 리버버브 아티팩트를 줄이고 선명도를 향상시킬 수 있는가?
• RQ3 통합된 하위망을 통한 내부 특징 전달 메커니즘을 활용해, 거의 날카로운 프레임이 없는 버스트를 효과적으로 처리할 수 있는가?
• RQ4 블러 커널이 이미지 전반에서 다르게 변하는 공간적으로 변화하는 블러 상황에 대해 모델이 얼마나 잘 일반화되는가?
• RQ5 제안된 방법은 최신의 생성적 및 판별적 접근법과 비교해 재구성 품질과 추론 속도 양면에서 경쟁적인 성능을 달성할 수 있는가?

주요 결과

• 엔드 투 엔드 훈련된 모델은 Chakrabarti [11]와 Delbracio & Sapiro [3]를 순차적으로 스택한 기준 방법 대비 리버버브 아티팩트를 크게 감소시켰다.
• 통합된 정보 공유 메커니즘 덕분에, 거의 날카로운 프레임이 적거나 없는 버스트에서 특히 뛰어난 선명도와 시각적 품질을 달성했다.
• 최적의 주파수 도메인 가중치를 학습함으로써 표준 FBA보다 더 일관되게 날카로운 재구성 결과를 도출했다.
• 공간적으로 변화하는 블러를 효과적으로 처리하여, 실제 카메라 궤적에서 유도된 비정상적인 블러 커널에 의해 손상된 시퀀스에서 FBA보다 더 날카로운 결과를 생성했다.
• 훈련 과정에서 선명도가 지속적으로 향상되는 것을 확인하여, 엔드 투 엔드 backpropagation를 통한 효과적인 최적화가 이루어졌음을 입증했다.
• 경쟁적인 런타임 성능을 달성하여, 소비자 포토그래피 분야에서 실시간 또는 근접 실시간 응용에 적합하다.