[논문 리뷰] Deep Decoder: Concise Image Representations from Untrained Non-convolutional Networks

Reinhard Heckel, Paul Hand|arXiv (Cornell University)|2018. 10. 02.

Image and Signal Denoising Methods참고 문헌 25인용 수 142

한 줄 요약

이 논문은 딥 디코더(Deep Decoder)를 소개하는데, 이는 매개변수 수가 적고 학습되지 않은 비합성곱 네트워크로, 적은 가중치로 자연 이미지를 생성하여 간결한 표현과 학습 없이도 denoising, super-resolution, inpainting에서 경쟁력을 갖춘다.

ABSTRACT

Deep neural networks, in particular convolutional neural networks, have become highly effective tools for compressing images and solving inverse problems including denoising, inpainting, and reconstruction from few and noisy measurements. This success can be attributed in part to their ability to represent and generate natural images well. Contrary to classical tools such as wavelets, image-generating deep neural networks have a large number of parameters---typically a multiple of their output dimension---and need to be trained on large datasets. In this paper, we propose an untrained simple image model, called the deep decoder, which is a deep neural network that can generate natural images from very few weight parameters. The deep decoder has a simple architecture with no convolutions and fewer weight parameters than the output dimensionality. This underparameterization enables the deep decoder to compress images into a concise set of network weights, which we show is on par with wavelet-based thresholding. Further, underparameterization provides a barrier to overfitting, allowing the deep decoder to have state-of-the-art performance for denoising. The deep decoder is simple in the sense that each layer has an identical structure that consists of only one upsampling unit, pixel-wise linear combination of channels, ReLU activation, and channelwise normalization. This simplicity makes the network amenable to theoretical analysis, and it sheds light on the aspects of neural networks that enable them to form effective signal representations.

연구 동기 및 목표

• 자연 이미지를 소수의 매개변수로 표현하는 매개변수화가 낮은 이미지 모델을 도입한다.
• 합성곱을 사용하지 않는 간단하고 학습되지 않은 네트워크 아키텍처를 제안하여 고품질 이미지를 생성할 수 있도록 한다.
• Deep Decoder를 역문제(denoising, super-resolution, inpainting)에 대한 정규화자/구조 사전으로 시연한다.
• 저매개변수화가 왜 과적합을 피하는 데 도움이 되는지와 업샘플링이 어떻게 공간적 국소성을 유도하는지에 대한 이론적 통찰을 제공한다.

제안 방법

• 고정된 임의 입력 B0를 d층을 통해 이미지를 맵핑하는 deep decoder G를 정의하고, 매개변수 C = {Ci}가 채널 간 선형 결합(Ci), 업샘플링(Ui), ReLU(−), 채널 정규화(cn)를 제어한다.
• 전통적 컨볼루션 없이 공간적 결합을 도입하기 위해 업샘플링을 사용하며 최종 출력은 x = sigmoid(Bd Cd).
• 주어진 순전파 모델 f와 관측 y에 대해 L(C) = ||f(G(C)) − y||2를 최소화하여 네트워크 가중치 C만 학습시키며 Adam 또는 경사하강법을 사용한다.
• 저매개변수화(N ≪ n, 여기서 n은 이미지 크기)를 시연하여 이미지의 간결한 표현을 가능하게 하고 노이즈 피팅을 제한한다.
• 압축을 위한 웨이블릿 임계값 추정과 비교; d = 6이고 k = 64 또는 128일 때 N ≈ 25k–100k로 이미지 크기 512×512×3에 비해 작음을 보인다.

실험 결과

연구 질문

• RQ1 저매개변수화되고 학습되지 않은 비합성곱 네트워크가 압축을 위한 효과적인 이미지 모델로 작용할 수 있는가?
• RQ2 학습 없이 denoising, super-resolution, inpainting과 같은 역문제에서 Deep Decoder가 어떻게 성능을 발휘하는가?
• RQ3 효과를 좌우하는 필수적인 아키텍처 선택(upsampling, 1×1 채널 혼합, 정규화)은 무엇인가?
• RQ4 왜 Deep Decoder가 노이즈 피팅에 저항하는가, 그리고 이것이 그-denoise 능력과 어떤 관련이 있는가?
• RQ5 학습된 모델 및 비학습 설정에서 Deep Image Prior(DIP)와의 비교는 어떠한가?

주요 결과

• 딥 디코더는 출력 크기의 아주 작은 부분에 해당하는 매개변수 수로 자연 이미지를 압축할 수 있으며, 웨이블릿 기반 임계값 추정과 동등한 성능을 발휘한다.
• 학습되지 않고 저매개변수인 모델로서, 학습 데이터가 필요 없고 조기 중지와 같은 무거운 정규화를 필요로 하지 않는 강한 denoising 성능을 제공한다.
• 1×1 합성곱과 비교하여, 선택된 업샘플링 기반 아키텍처가 간결한 표현을 제공하고 denoising, super-resolution, inpainting에 대한 효과적인 역연산을 가능하게 한다.
• 이론적 분석은 모델이 노이즈의 아주 작은 부분만 피팅할 수 있음을 보여 주며, 경험적 결과를 넘어선 denoising 능력을 설명한다.
• 경험적 비교에서 학습되지 않은 방법들(DIP 포함)과의 경쟁력 있는 denoising 성능 및 특정 설정에서 BM3D에 우호적인 결과를 보여 주며, 또한 경쟁력 있는 super-resolution 및 inpainting 결과를 지지한다.