[논문 리뷰] Learning Fully Convolutional Networks for Iterative Non-blind Deconvolution

Jiawei Zhang, Jinshan Pan외 3명|arXiv (Cornell University)|2016. 11. 20.

Image and Signal Denoising Methods참고 문헌 29인용 수 6

한 줄 요약

이 논문은 비반복적 복소화 문제를 경사 노이즈 제거와 이미지 복소화로 분해하는 완전 컨volution 신경망(FCNN)을 제안한다. 경사 도메인에서 노이즈를 제거하기 위해 FCNN를 훈련시키고, 잡음 억제를 위한 강력한 L1 손실을 사용함으로써, 개선된 세부 정보 유지와 효율성을 갖춘 반복적 이미지 복원을 가능하게 하여 벤치마크 데이터셋에서 품질과 속도 면에서 최신 기법들을 능가한다.

ABSTRACT

In this paper, we propose a fully convolutional networks for iterative non-blind deconvolution We decompose the non-blind deconvolution problem into image denoising and image deconvolution. We train a FCNN to remove noises in the gradient domain and use the learned gradients to guide the image deconvolution step. In contrast to the existing deep neural network based methods, we iteratively deconvolve the blurred images in a multi-stage framework. The proposed method is able to learn an adaptive image prior, which keeps both local (details) and global (structures) information. Both quantitative and qualitative evaluations on benchmark datasets demonstrate that the proposed method performs favorably against state-of-the-art algorithms in terms of quality and speed.

연구 동기 및 목표

• 비반복적 복소화의 불안정한 성격을 해결하기 위해 국소적 세부 정보와 전반적 구조를 모두 유지하는 적응형 이미지 사전를 학습하는 것.
• 다양한 블러 커널에 대해 재학습이 필요한 기존 딥러닝 기법의 한계를 극복하는 것.
• 완전 컨volution 아키텍처를 사용하여 문제를 경사 노이즈 제거와 반복적 복소화로 분해함으로써 복소화 성능을 향상시키는 것.
• 경사 도메인에서 강력한 L1 손실 최적화를 통해 링잉 아티팩트와 노이즈를 줄여 부드러운 영역에서의 품질을 향상시키는 것.
• GPU 가속을 활용한 완전 컨볼루션 네트워크를 통해 실시간 추론을 위한 높은 효율성 확보

제안 방법

• 비반복적 복소화 문제를 두 단계로 분해: 완전 컨볼루션 네트워크(FCNN)를 통한 경사 노이즈 제거와 학습된 복소화 모듈을 사용한 반복적 이미지 복소화.
• 경사 노이즈 제거를 위해 강력한 L1 손실 함수를 사용하여 L2 손실보다 링잉 아티팩트와 이방성 값을 더 효과적으로 억제한다.
• FCNN를 다중 단계 아키텍처로 연결하여 반복적 블러링을 수행하고, 점진적으로 복원된 이미지를 정교화한다.
• 이미지 경사도를 경사 도메인에서 노이즈 제거하고, 이를 통해 얻어진 깨끗한 경사도를 복소화 과정을 안내하는 데 사용하여 세부 정보를 유지한다.
• 복소화 모듈 내의 하이퍼파ram터를 종합 최적화하여 복원 품질을 향상시킨다.
• 네트워크를 한 번만 훈련시켜 다양한 블러 커널에 일반화 가능하게 하여 실용적 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 완전 컨볼루션 네트워크는 비반복적 복소화에서 국소적 세부 정보와 전반적 구조를 모두 유지하는 적응형 이미지 사전를 효과적으로 학습할 수 있는가?
• RQ2 다중 단계 FCNN 아키텍처를 사용한 반복적 정교화는 단일 단계 기법보다 복소화 품질을 향상시키는가?
• RQ3 경사 도메인에서 강력한 L1 손실은 전통적인 L2 손실보다 링잉 아티팩트와 노이즈 억제에 더 효과적인가?
• RQ4 제안된 방법은 재학습 없이 다양한 블러 커널에 일반화되는가? (특정 커널에 종속된 딥러닝 접근법과 대비하여)
• RQ5 벤치마크 데이터셋에서 제안된 방법은 최신 비반복적 복소화 알고리즘과 비교해 품질과 속도 면에서 어떻게 성과를 내는가?

주요 결과

• 1% 노이즈가 포함된 벤치마크 데이터셋에서 제안된 방법은 PSNR 32.82와 SSIM 0.90을 달성하여 HL [12] (31.57/0.87)과 MLP [25] (31.82/0.86)를 능가한다.
• 3% 노이즈 조건에서 PSNR 29.12와 SSIM 0.79를 기록하여 CSF [22] (28.43/0.78)와 MLP [25] (26.26/0.60)를 크게 앞서간다.
• 5% 노이즈 조건에서 PSNR 27.66와 SSIM 0.74를 달성하여 HL [12] (25.85/0.67)와 MLP [25] (24.62/0.51)를 초월한다.
• 세 번의 반복을 수행하는 FCNN는 K40 GPU에서 1536×1200 해상도 이미지에 대해 0.06초 내에 실행되어 EPLL(953.52초)와 HL(2.11초)보다 훨씬 빠르다.
• 시각적 결과에서는 EPLL, CSF, HL과 비교해 세부 무늬를 더 잘 유지하고 아티팩트를 줄이는 것으로 나타났다. 특히 노이즈가 많거나 부드러운 영역에서 유의미한 개선이 있었다.
• 실제 블러 이미지에 대해서도 Pan [16]에서 추정한 커널을 사용해 잘 일반화되어 EPLL 수준의 결과를 내며, HL과 CSF보다 뛰어난 성능을 보였다.