[논문 리뷰] Simultaneous Fidelity and Regularization Learning for Image Restoration

Dongwei Ren, Wangmeng Zuo외 3명|arXiv (Cornell University)|2018. 04. 12.

Advanced Image Processing Techniques참고 문헌 64인용 수 8

한 줄 요약

이 논문은 부분적으로 알려지거나 정확하지 않은 왜곡 모델 하에서 이미지 복원을 위한 동시에 신뢰도 및 정규화 항을 학습하는 작업 기반 학습 프레임워크 SFARL을 제안한다. 모델의 정확도 부족으로 인한 잔차를 매개변수화하고 단계별 네트워크를 통해 신뢰도와 정규화를 함께 최적화함으로써, 잘못된 커널을 가진 복소화, 빗줄기 제거, 노이즈 제거에서 최신 기술 성능을 달성하며, 잔상 요소를 크게 감소시키고 시각적 품질과 정량적 지표를 향상시킨다.

ABSTRACT

Most existing non-blind restoration methods are based on the assumption that a precise degradation model is known. As the degradation process can only be partially known or inaccurately modeled, images may not be well restored. Rain streak removal and image deconvolution with inaccurate blur kernels are two representative examples of such tasks. For rain streak removal, although an input image can be decomposed into a scene layer and a rain streak layer, there exists no explicit formulation for modeling rain streaks and the composition with scene layer. For blind deconvolution, as estimation error of blur kernel is usually introduced, the subsequent non-blind deconvolution process does not restore the latent image well. In this paper, we propose a principled algorithm within the maximum a posterior framework to tackle image restoration with a partially known or inaccurate degradation model. Specifically, the residual caused by a partially known or inaccurate degradation model is spatially dependent and complexly distributed. With a training set of degraded and ground-truth image pairs, we parameterize and learn the fidelity term for a degradation model in a task-driven manner. Furthermore, the regularization term can also be learned along with the fidelity term, thereby forming a simultaneous fidelity and regularization learning model. Extensive experimental results demonstrate the effectiveness of the proposed model for image deconvolution with inaccurate blur kernels, deconvolution with multiple degradations and rain streak removal.

연구 동기 및 목표

• 왜곡 모델이 부분적으로만 알려지거나 정확하지 않은 경우, 예를 들어 망각 복소화나 빗줄기 제거와 같은 이미지 복원 과제에 도전한다.
• 왜곡 연산자와 노이즈 모델에 대한 정확한 지식을 전제로 하는 전통적인 MAP 기반 방법의 한계를 극복한다.
• 저하된 진짜 이미지 쌍에서 작업에 특화된 방식으로 신뢰도 및 정규화 항을 동시에 학습하는 유연하고 데이터 기반의 프레임워크를 개발한다.
• 모델 정확도로 인한 공간적으로 변화하는 복잡한 잔차를 모델링함으로써 복원 성능을 향상시킨다.
• 통합 최적화 프레임워크 내에서 학습 가능한 유연한 구성 요소를 통해 다양한 복원 과제 간 일반화를 가능하게 한다.

제안 방법

• 정확한 왜곡 효과를 모델링하기 위해 공간적으로 적응적이고 작업에 특화된 잔차 함수로 표현된 최대사후확률(MAP) 프레임워크를 제안한다.
• 관측된 이미지와 알려진 왜곡 모델의 출력 사이의 잔차를 모델링하는 단계별로 끝에서 끝까지 학습 가능한 네트워크를 사용해 신뢰도 항을 학습한다.
• 학습 데이터에서 이미지 통계 및 구조적 사전 지식을 포괄하는 작업에 특화된 매개변수화된 사전을 사용해 정규화 항을 동시에 학습한다.
• 저하된 이미지와 진짜 이미지 쌍을 사용해 작업 기반으로 모델을 학습하며, 역전파를 통해 신뢰도 및 정규화 구성 요소를 함께 최적화한다.
• 각 단계에서 잔차 오차에 기반해 신뢰도 및 정규화 필터를 업데이트하는 점진적인 복원 과정을 제공하기 위해 다단계 아키텍처를 사용한다.
• 실제 세계의 왜곡을 더 잘 모델링할 수 있도록 복잡하고 공간적으로 변화하는 왜곡 잔차를 포괄하는 신뢰도 항의 민감한 매개변수화 방식을 도입한다.

실험 결과

연구 질문

• RQ1 학습 기반 접근법이 이미지 복원에서 정확하지 않거나 부분적으로 알려진 왜곡 모델의 잔차를 효과적으로 모델링할 수 있는가?
• RQ2 신뢰도 및 정규화 항을 고정되거나 수작업으로 설정된 사전 지식을 초월해 복원 성능을 향상시키는 방식으로 함께 학습할 수 있는가?
• RQ3 학습된 신뢰도 및 정규화 구성 요소가 복소화, 노이즈 제거, 비소거와 같은 다양한 이미지 복원 과제 간에 얼마나 잘 일반화되는가?
• RQ4 제안된 동시 학습 프레임워크가 잘못된 왜곡 모델을 가진 과제에서 기존 방법보다 정량적 지표와 시각적 품질 측면에서 뛰어난 성능을 보일 수 있는가?
• RQ5 학습된 신뢰도 및 정규화 필터는 다양한 복원 과제 간에 이식되었을 때 어떻게 행동하는가?

주요 결과

• SFARL은 Rain12 deraining 데이터셋에서 PSNR 35.97과 SSIM 0.9581을 달성하여 DDNET 및 DCNN과 같은 베이스라인 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 정확하지 않은 흐림 커널을 가진 복소화 과제에서 SFARL은 리버브 잔상 요소를 감소시키며 ROBUST 및 DCNN보다 더 뛰어난 시각적 결과를 생성했다.
• 정규화 필터는 중간 정도의 이식 가능성을 보였으며, 특히 노이즈 제거와 비소거와 같은 유사한 왜곡 유형 간에 잘 작동했지만, 유사하지 않은 과제에 적용할 경우 성능 저하가 발생했다.
• 신뢰도 필터는 매우 작업 특화되어 있으며, 복소화에서 비소거로의 이식에 실패하는데, 이는 커널 추정 오차와 강하게 연관되어 있기 때문이다.
• 가우시안 노이즈 제거 과제에서 SFARL은 시각적 인지 지표를 향상시키고 표준 방법보다 더 깔끔한 결과를 생성하여, 복소화와 비소거 외의 영역에서도 효과적임을 입증했다.
• 제거 분석 결과, 별도로 학습하는 것보다 함께 학습하는 것이 더 뛰어난 성능을 내며, 동시 학습 프레임워크의 必요성을 검증했다.