[논문 리뷰] Image Restoration using Autoencoding Priors

Siavash Bigdeli, Matthias Zwicker|arXiv (Cornell University)|2017. 03. 29.

Advanced Image Processing Techniques인용 수 35

한 줄 요약

이 논문은 노이즈 제거 오토인코더(DAE) 기반의 일반적인 자연 이미지 사전을 제안하며, 오토인코더의 오차 크기(평균 이동 벡터)를 음의 로그우도 사전으로 사용한다. 복원 과정에서 이 크기를 경사 하강법으로 최소화함으로써, 다양한 블러 커널이나 확대 비율에 대해 재학습 없이도 단일 사전 학습된 DAE를 사용하여 비점성 복소화 및 초해상도 분석에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

We propose to leverage denoising autoencoder networks as priors to address image restoration problems. We build on the key observation that the output of an optimal denoising autoencoder is a local mean of the true data density, and the autoencoder error (the difference between the output and input of the trained autoencoder) is a mean shift vector. We use the magnitude of this mean shift vector, that is, the distance to the local mean, as the negative log likelihood of our natural image prior. For image restoration, we maximize the likelihood using gradient descent by backpropagating the autoencoder error. A key advantage of our approach is that we do not need to train separate networks for different image restoration tasks, such as non-blind deconvolution with different kernels, or super-resolution at different magnification factors. We demonstrate state of the art results for non-blind deconvolution and super-resolution using the same autoencoding prior.

연구 동기 및 목표

• 부족한 조건에서의 이미지 복원 문제를 해결하기 위해 강력하고 일반적인 자연 이미지 사전을 도입하는 것.
• 비점성 복소화와 같은 다양한 블러 커널 또는 다양한 스케일의 초해상도 분석과 같은 복원 작업에서 작업별 맞춤형 네트워크 재학습이 필요 없도록 하는 것.
• 노이즈 제거 오토인코더의 기하학적 성질—특히 출력이 진짜 데이터 밀도의 국소 평균이라는 점—을 활용하여 우도 기반 사전을 정의하는 것.
• 단일 학습된 사전을 사용하여 다양한 이미지 열화 유형에 대해 민감도가 높은 기울기 기반 최적화를 가능하게 하는 것.

제안 방법

• 사전 학습된 노이즈 제거 오토인코더(DAE)를 사용하여 입력과 오토인코더 출력의 차이로 평균 이동 벡터를 계산한다.
• 이 평균 이동 벡터의 크기를 음의 로그우도 사전으로 사용하며, 자연 이미지 분포의 국소 평균으로부터의 거리를 나타낸다.
• 이미지 복원은 알려진 열화 모델 기반의 데이터 일치 조건을 만족시키면서 사전 에너지를 최소화하는 경사 하강법을 통해 수행된다.
• 최적화 과정은 솔루션을 자연 이미지 다양체의 국소 평균 쪽으로 반복적으로 이동시켜 시각적 품질을 향상시키고 잡음을 줄인다.
• 동일한 사전 학습된 DAE가 비점성 복소화, 초해상도 분석, 이미지 메시킹 등 다양한 작업에 대해 피팅 조정 없이 적용된다.
• 다양한 열화 유형—블러, 노이즈, 누락된 픽셀—에 대해 안정적인 성능을 보이며, 분석 연구를 통해 이를 입증하였다.

실험 결과

연구 질문

• RQ1 단일 사전 학습된 노이즈 제거 오토인코더가 다양한 이미지 복원 작업에 대해 일반적인 사전으로 기능할 수 있는가?
• RQ2 오토인코더 오차의 크기(평균 이동 벡터)가 자연 이미지의 우도를 효과적으로 모델링하여 복원 품질을 향상시키는가?
• RQ3 이 사전을 기반으로 한 기울기 기반 최적화가 다양한 블러 커널을 가진 비점성 복소화에서 작업별 맞춤형 딥 네트워크를 능가하는가?
• RQ4 재학습 없이도 다양한 확대 비율에서 초해상도 분석에 효과적인가?
• RQ5 동일한 사전이 노이즈와 누락된 픽셀을 포함한 비균일한 열화를 처리할 수 있는가?

주요 결과

• 비점성 복소화에 대해 코다크 데이터셋에서 29.92 dB의 최신 기술 수준(PSNR)을 달성하였으며, 이는 레빈 등(28.96 dB)과 포르투나토 & 올리베이라(29.25 dB)의 이전 방법들을 능가한다.
• 초해상도 분석에서는 동일한 DAE 사전가 다양한 확대 비율에서 재학습 없이 최신 기술 수준의 성능을 달성하여 스케일 간 일반화 능력을 입증한다.
• 다양한 노이즈 수준(σ = 2.55, 7.65, 12.75)에서 비점성 복소화를 수행한 결과 평균 PSNR가 각각 29.92 dB, 28.63 dB, 27.37 dB를 기록하여 기존 방법들을 능가한다.
• 70%의 픽셀이 마스킹된 이미지와 10% 노이즈가 첨부된 이미지에서도 성공적으로 복원되었으며, PSNR가 31.05 dB를 기록하여 누락된 데이터와 노이즈에 대한 강건성을 입증한다.
• 이 방법은 다양한 열화 유형—블러와 노이즈—에 대해 잘 작동하며, 이미지 메시킹까지 확장되어 DAE 사전의 광범위한 적용 가능성을 보여준다.
• 강력한 성능에도 불구하고 순수한 이미지 노이즈 제거에서는 아직 최신 기술 수준에 도달하지 못했으며, 이는 적응형 커널 폭 또는 파rameter 조정이 필요할 수 있음을 시사한다.