[논문 리뷰] Learning Deep Gradient Descent Optimization for Image Deconvolution

Dong Gong, Zhen Zhang외 4명|arXiv (Cornell University)|2018. 04. 10.

Advanced Image Processing Techniques참고 문헌 56인용 수 8

한 줄 요약

이 논문은 깊이 신경망을 완전히 미분 가능한 경사하강 프레임워크에 통합하여 이미지 디컨volution을 위한 유니버설이고 파라미터 없는 최적화 방법을 학습하는 순환 경사하강 신경망(RGDN)을 제안한다. 기존의 학습 기반 방법들과 달리 고정된 아키텍처나 알려진 노이즈 수준이 필요로 하지 않으며, RGDN은 순환적 감독을 통해 이미지 사전지식과 적응형 업데이트 규칙을 동적으로 학습하여 다양한 블러 및 노이즈 수준에 대해 강건한 성능을 보이며, 합성 및 실세계 이미지에서 최신 기술 수준을 달성한다.

ABSTRACT

As an integral component of blind image deblurring, non-blind deconvolution removes image blur with a given blur kernel, which is essential but difficult due to the ill-posed nature of the inverse problem. The predominant approach is based on optimization subject to regularization functions that are either manually designed, or learned from examples. Existing learning based methods have shown superior restoration quality but are not practical enough due to their restricted and static model design. They solely focus on learning a prior and require to know the noise level for deconvolution. We address the gap between the optimization-based and learning-based approaches by learning a universal gradient descent optimizer. We propose a Recurrent Gradient Descent Network (RGDN) by systematically incorporating deep neural networks into a fully parameterized gradient descent scheme. A hyper-parameter-free update unit shared across steps is used to generate updates from the current estimates, based on a convolutional neural network. By training on diverse examples, the Recurrent Gradient Descent Network learns an implicit image prior and a universal update rule through recursive supervision. The learned optimizer can be repeatedly used to improve the quality of diverse degenerated observations. The proposed method possesses strong interpretability and high generalization. Extensive experiments on synthetic benchmarks and challenging real-world images demonstrate that the proposed deep optimization method is effective and robust to produce favorable results as well as practical for real-world image deblurring applications.

연구 동기 및 목표

• 기존의 학습 기반 디컨볼루션 방법이 고정된 아키텍처나 알려진 노이즈 수준을 필요로 하는 한계를 해결하기 위해.
• 이미지 디컨볼루션 분야에서 최적화 기반 접근과 학습 기반 접근 간 격차를 메우기 위해.
• 엔드 투 엔드 훈련을 통해 동적 업데이트 규칙을 학습하는 유니버설한 순환 딥 네트워크를 개발하기 위해.
• 재학습이나 하이퍼파라미터 조정 없이 다양한 블러 커널과 노이즈 수준에 걸쳐 강건하고 일반화 가능한 블러 제거를 가능하게 하기 위해.

제안 방법

• RGDN 아키텍처는 동일한 학습 가능한 경사하강 단위를 반복적으로 사용하여 이미지 추정치를 업데이트하는 순환 신경망으로 구성된다.
• 경사하강 단위는 현재 이미지 추정치와 데이터 일치 조건을 기반으로 업데이트를 계산하는 컨볼루션 신경망(CNN)으로 매개변수화된다.
• 이 방법은 이미지 디컨볼루션을 정규화된 최적화 문제로 공식화하고, 이를 순환적 구조로 전개하며, CNN이 암묵적으로 프록시멀 오퍼레이터를 학습한다.
• 다양한 흐린 이미지에서 순환적 감독을 통해 훈련함으로써, 네트워크는 유니버설한 이미지 사전지식과 적응형 업데이트 역학을 학습할 수 있다.
• 최적화 방법은 하이퍼파라미터가 없으며, 추론 시 노이즈 수준에 대한 지식이 필요로 하지 않는다.
• 흐림 커널을 항등행렬로 대체함으로써 이미지 디노이징으로의 확장이 가능하여, 다른 복원 작업으로의 이식 가능성도 입증한다.

실험 결과

연구 질문

• RQ1 딥 신경망은 이미지 디컨볼루션에서 다양한 블러 및 노이즈 조건에 걸쳐 일반화되는 유니버설한 경사하강 최적화 방법을 학습할 수 있는가?
• RQ2 정적이고 수작업으로 설계된 최적화 네트워크와 비교할 때, 순환적이고 엔드 투 엔드로 훈련된 최적화 방법은 강건성과 성능 면에서 어떻게 다른가?
• RQ3 단일로 학습된 최적화 방법이 재학습이나 하이퍼파라미터 조정 없이 얼마나 다양한 블러 커널과 노이즈 수준을 처리할 수 있는가?
• RQ4 제안된 방법은 아키텍처 수정 없이도 디노이징과 같은 다른 이미지 복원 작업으로 확장할 수 있는가?
• RQ5 RGDN이 암묵적으로 학습한 사전지식은 복원 품질과 일반화 능력 면에서 명시적으로 설계된 또는 학습된 사전지식을 능가하는가?

주요 결과

• RGDN은 Levin 등(2011)의 합성 벤치마크와 Sun 등(2015)의 실세계 이미지에서 모두 최신 기술 수준의 성능을 달성하며, 기존의 학습 기반 및 전통적인 최적화 방법을 능가한다.
• Levin 데이터셋에서, 노이즈 수준 σ = 25, 35, 50일 때 각각 PSNR 30.94, 29.29, 27.66를 기록하여 CBM3D와 TNRD를 능가하고, 노이즈 수준을 알지 못하는 상태임에도 불구하고 IRCNN와 유사한 성능을 달성한다.
• 재학습이나 하이퍼파라미터 조정 없이도 예측되지 않은 블러 커널과 노이즈 수준에 잘 일반화되며, 추론 시에도 이를 필요로 하지 않는다.
• 디컨볼루션 작업에서 RGDN은 작은 이미지에 대해 30회의 반복을 1초 이내, 큰 이미지에 대해선 6초 이내로 완료하며, 약간 느린 추론 속도에도 불구하고 FDN보다 강건성 면에서 뛰어나다.
• 학습된 최적화 방법은 높은 해석 가능성과 일반화 능력을 보이며, 명시적 정규화 설계 없이도 복잡한 이미지 사전지식을 효과적으로 포착한다.
• 디노이징으로의 확장은 방법의 유연성을 확인하며, 노이즈 수준 입력 없이도 다양한 노이즈 수준에서 경쟁 가능한 성능을 달성한다.