[논문 리뷰] Deep Mean-Shift Priors for Image Restoration

Siavash Bigdeli, Meiguang Jin외 2명|arXiv (Cornell University)|2017. 09. 12.

Advanced Image Processing Techniques참고 문헌 25인용 수 67

한 줄 요약

Gaussian-smoothed 자연 이미지 분포를 사전으로 사용하는 베이지안 이미지 복원 프레임워크를 제안하고, denoising autoencoders를 통해 평균-시프트(mean-shift) 기울기를 얻어 노이즈-블라인드 디블러링, 초해상도, 및 demosaicing을 가능하게 하며 경쟁력 있는 결과를 보여준다.

ABSTRACT

In this paper we introduce a natural image prior that directly represents a Gaussian-smoothed version of the natural image distribution. We include our prior in a formulation of image restoration as a Bayes estimator that also allows us to solve noise-blind image restoration problems. We show that the gradient of our prior corresponds to the mean-shift vector on the natural image distribution. In addition, we learn the mean-shift vector field using denoising autoencoders, and use it in a gradient descent approach to perform Bayes risk minimization. We demonstrate competitive results for noise-blind deblurring, super-resolution, and demosaicing.

연구 동기 및 목표

• Gaussian-smoothed 자연 이미지 분포를 나타내는 사전을 활용하여 불안정한 저차원화 degradation 아래에서 이미지를 복원하는 것을 동기화한다.
• 딥 mean-shift 프라이어를 도입하고 그 기울기가 자연 이미지 분포에서 mean-shift 벡터와 일치함을 보인다.
• smoothed density 사전을 이용한 베이즈 추정기를 구성하여 노이즈-블라인드 복원을 가능하게 한다.
• 복원 작업에서 디블러링, 초해상도, demosaicing 전반에 걸쳐 경쟁력 있는 결과를 입증한다.

제안 방법

• 데이터 적합성 항과 Gaussian-smoothed prior 항을 결합한 Bayes-에스티메이터 목적 함수를 정의한다.
• 사전으로 Gaussian-smoothed natural image distribution p'(x)의 로그를 표현한다.
• denoising autoencoders를 사용하여 평균-시프트 벡터를 통해 로그-사전의 기울기를 학습하고, DAE 잔차를 사전 기울기와 연결한다.
• 목적 함수를 데이터 항과 사전 항으로 분리하는 하한(bound)를 도출하고 Jensen의 불평등을 적용한다.
• DAE 과적합을 방지하고 반복적 복원을 수행하기 위해 노이즈 보강이 포함된 확률적 경사 하강법을 사용한다.
• 비확정적, 노이즈 적응형, 커널-블라인드 디블러링에 대한 기울기-하강 업데이트를 제공하고 초해상도 및 demosaicing으로의 확장을 제시한다.

실험 결과

연구 질문

• RQ1 Gaussian-smoothed natural image distribution이 다양한 복원 과제의 일반적 사전이 될 수 있는가?
• RQ2 이 프라이어의 기울기를 효과적으로 학습하고 Bayes-에스티메이터 프레임워크에 통합하는 방법은 무엇인가?
• RQ3 노이즈-블라인드 형식이 복원 작업 전반에서 미지의 degraded 매개변수에 대한 강건성을 향상시키는가?
• RQ4 최신 방법과 비교해 디블러링, 초해상도, demosaicing에서 제시된 복원 결과가 경쟁력 있는가?

주요 결과

• Gaussian-smoothed natural image priors를 이용한 Bayes-에스티메이터 형식이 도출되고 그래디언트 하강으로 최적화된다.
• DAEs는 평균-시프트 벡터를 통해 로그-사전의 기울기를 학습할 수 있어 실용적 사전 그래디언트를 가능하게 한다.
• 본 방법은 노이즈-블라인드 디블러링, 초해상도, demosaicing에서 최신 기법과 경쟁력 있는 결과를 보여준다.
• 확률적 사전 그래디언트(노이즈 보강 포함)는 DAE 과적합을 완화하고 최적화를 개선한다.
• 본 접근법은 노이즈-블라인드 디블러링, 초해상도, demosaicing 벤치마크에서 경쟁력 있는 성능을 보이며 Titan X (Pascal)에서 초당 약 0.2초 정도의 런타임을 보고한다.
• 실험은 비-블라인드, 노이즈-적응형, 커널-블라인드 디블러링, Set5/Set14에서의 초해상도, Panasonic 데이터셋에서의 demosaicing을 포함한다.