[论文解读] Deep Decoder: Concise Image Representations from Untrained Non-convolutional Networks

Reinhard Heckel, Paul Hand|arXiv (Cornell University)|Oct 2, 2018

Image and Signal Denoising Methods参考文献 25被引用 142

一句话总结

本文介绍了深度解码器（Deep Decoder），一种参数不足、未训练的非卷积网络，它能用少量权重生成自然图像，从而实现简洁表示，并在去噪、超分辨率和修复任务中具有竞争力，而无需训练。

ABSTRACT

Deep neural networks, in particular convolutional neural networks, have become highly effective tools for compressing images and solving inverse problems including denoising, inpainting, and reconstruction from few and noisy measurements. This success can be attributed in part to their ability to represent and generate natural images well. Contrary to classical tools such as wavelets, image-generating deep neural networks have a large number of parameters---typically a multiple of their output dimension---and need to be trained on large datasets. In this paper, we propose an untrained simple image model, called the deep decoder, which is a deep neural network that can generate natural images from very few weight parameters. The deep decoder has a simple architecture with no convolutions and fewer weight parameters than the output dimensionality. This underparameterization enables the deep decoder to compress images into a concise set of network weights, which we show is on par with wavelet-based thresholding. Further, underparameterization provides a barrier to overfitting, allowing the deep decoder to have state-of-the-art performance for denoising. The deep decoder is simple in the sense that each layer has an identical structure that consists of only one upsampling unit, pixel-wise linear combination of channels, ReLU activation, and channelwise normalization. This simplicity makes the network amenable to theoretical analysis, and it sheds light on the aspects of neural networks that enable them to form effective signal representations.

研究动机与目标

• 引入一个用少量参数表示自然图像的参数不足的图像模型。
• 提出一个简单的、未训练的无卷积网络架构，能够生成高质量图像。
• 展示深度解码器作为反问题的正则化器/结构先验（去噪、超分辨率、修复）。
• 提供理论性见解，解释为何参数不足有助于避免过拟合，以及上采样如何引入局部性。

提出的方法

• 定义深度解码器 G，它将一个固定的随机输入 B0 通过 d 层映射到图像，参数 C = {Ci} 控制逐通道线性组合 (Ci)、上采样 (Ui)、ReLU (−) 和通道归一化 (cn)。
• 使用上采样引入空间耦合而不使用传统卷积；最终输出为 x = sigmoid(Bd Cd)。
• 仅通过最小化 L(C) = ||f(G(C)) − y||2 来训练网络权重 C，给定前向模型 f 和观测 y，使用 Adam 或梯度下降。
• 证明参数不足（N ≪ n，其中 n 是图像大小）使得图像表示简洁，并限制对噪声的拟合。
• 与基于小波阈值的压缩进行比较；并且在 d = 6 且 k = 64 或 128 时，N ≈ 25k–100k，相对于图像大小 512×512×3。

实验结果

研究问题

• RQ1 一个参数不足、未训练、非卷积的网络能否作为有效的图像压缩模型？
• RQ2 在未训练的情况下，深度解码器在去噪、超分辨率和修复等反问题上的表现如何？
• RQ3 哪些结构选择（上采样、1×1 通道混合、归一化）对其有效性至关重要？
• RQ4 为何深度解码器能抵抗拟合噪声，这与其去噪能力有何关联？
• RQ5 在未训练环境下，与训练模型以及 Deep Image Prior (DIP) 的对比如何？

主要发现

• 深度解码器可以用极少参数来压缩自然图像，其参数量仅为输出大小的一小部分，其性能与基于小波阈值的阈值化相当。
• 作为一个未训练、参数不足的模型，它在没有训练数据且没有像早停这样的强正则化的情况下提供强去噪性能。
• 与 1×1 卷积相比，所选的基于上采样的架构产生简洁表示，并实现去噪、超分辨率和修复的有效反演。
• 理论分析显示该模型只能拟合噪声的一小部分，解释了其去噪能力超出经验结果。
• 实证比较显示与未训练方法（包括 DIP）相比具有竞争力的去噪性能，在某些设置下对 BM3D 也有有利结果，同时也支持有竞争力的超分辨率和修复结果。