[论文解读] MemNet: A Persistent Memory Network for Image Restoration

Ying Tai, Jian Yang+2 more|arXiv (Cornell University)|Aug 7, 2017

Advanced Image Processing Techniques参考文献 33被引用 193

一句话总结

MemNet 引入了具有递归短期记忆和门控长时记忆的非常深的持久记忆块，以解决图像修复中的长期依赖，在去噪、超分辨率和 JPEG 去块方面达到最先进的结果。

ABSTRACT

Recently, very deep convolutional neural networks (CNNs) have been attracting considerable attention in image restoration. However, as the depth grows, the long-term dependency problem is rarely realized for these very deep models, which results in the prior states/layers having little influence on the subsequent ones. Motivated by the fact that human thoughts have persistency, we propose a very deep persistent memory network (MemNet) that introduces a memory block, consisting of a recursive unit and a gate unit, to explicitly mine persistent memory through an adaptive learning process. The recursive unit learns multi-level representations of the current state under different receptive fields. The representations and the outputs from the previous memory blocks are concatenated and sent to the gate unit, which adaptively controls how much of the previous states should be reserved, and decides how much of the current state should be stored. We apply MemNet to three image restoration tasks, i.e., image denosing, super-resolution and JPEG deblocking. Comprehensive experiments demonstrate the necessity of the MemNet and its unanimous superiority on all three tasks over the state of the arts. Code is available at https://github.com/tyshiwo/MemNet.

研究动机与目标

• 激励解决非常深的卷积神经网络在图像修复中存在的长期依赖问题。
• 提出一个带有递归单元和门单元的记忆块架构，以实现持久记忆的保存。
• 展示 MemNet 在多种修复任务（去噪、超分辨率、JPEG 去块）上的有效性。
• 展示密集的长期连接和多监督训练在性能提升方面的优势。

提出的方法

• 引入一个记忆块，包括一个递归单元，在不同感受野上构建多层次的短期表示。
• 将短期记忆与来自前一块的长期记忆拼接，并通过门控单元（1x1 卷积）自适应融合记忆。
• 将记忆块堆叠在密集连接的结构中，形成非常深的 MemNet，随后是学习残差的重建网络。
• 可选地通过将中间块输出接入重建网络并对预测取均值来实现多监督学习。
• 使用 SGD 对补丁进行端到端训练，结合数据增强，以单一模型处理多种污染级别。

实验结果

研究问题

• RQ1 持久记忆机制是否能改善非常深的 CNN 在图像修复中的信息流和长期依赖处理？
• RQ2 在不同任务中，由 1x1 卷积门控的递归短期记忆与长期记忆如何影响修复性能？
• RQ3 密集的长期连接是否能使单一模型在去噪、超分辨率和 JPEG 去块中达到最先进的结果？

主要发现

• 与先前方法相比，MemNet 在图像去噪、单图像超分辨率和 JPEG 去块方面获得了优越的结果。
• 长期密集连接显著提升性能，甚于仅使用短期连接。
• 门控单元自适应地权衡记忆，保留早期层的有用信息并控制当前表示的存储。
• 多监督的 MemNet 通过对中间块输出进行监督进一步提升性能。
• 更深的 MemNet 配置带来持续的增益，证实了非常深的持久记忆结构的好处。