[论文解读] Neural Sparse Representation for Image Restoration

Yuchen Fan, Jiahui Yu+5 more|arXiv (Cornell University)|Jun 8, 2020

Advanced Image Processing Techniques参考文献 21被引用 9

一句话总结

本文提出神经稀疏表示（NSR），一种通过分组通道并利用可学习的辅助网络仅在某一时刻激活一组通道，从而在深层卷积网络的隐藏神经元中结构化地强制实现稀疏性的方法。该方法显著降低了计算成本，以微小的额外开销提升了模型容量，并在图像超分辨率、去噪和压缩伪影去除任务中提升了性能，同时保持了准确性。

ABSTRACT

Inspired by the robustness and efficiency of sparse representation in sparse coding based image restoration models, we investigate the sparsity of neurons in deep networks. Our method structurally enforces sparsity constraints upon hidden neurons. The sparsity constraints are favorable for gradient-based learning algorithms and attachable to convolution layers in various networks. Sparsity in neurons enables computation saving by only operating on non-zero components without hurting accuracy. Meanwhile, our method can magnify representation dimensionality and model capacity with negligible additional computation cost. Experiments show that sparse representation is crucial in deep neural networks for multiple image restoration tasks, including image super-resolution, image denoising, and image compression artifacts removal. Code is available at https://github.com/ychfan/nsr

研究动机与目标

• 为解决在基于深度神经网络的图像恢复中实现隐藏表示有意义稀疏性的挑战。
• 在通过神经元稀疏性降低计算成本的同时，保持高维表示容量。
• 开发一种可微分、端到端可训练的模块，将稀疏性约束整合到标准卷积层中。
• 证明隐藏神经元中的结构化稀疏性可显著提升多种图像恢复任务中的模型效率和性能。

提出的方法

• 将隐藏特征图划分为通道组，并通过软性、可微分的选择机制，仅允许一组通道在某一时刻激活，从而实现稀疏性。
• 利用小型辅助网络基于上下文特征预测应激活哪组神经元，实现自适应稀疏性。
• 将硬性稀疏选择松弛为使用多个卷积核的稀疏线性组合的软性、可微分近似。
• 引入基数维度，将稀疏性预测分解为子问题，提升训练稳定性和可扩展性。
• 将NSR模块作为插件式替代品嵌入各种架构中的标准卷积层，包括EDSR和残差网络。
• 在推理过程中仅对非零神经元组进行运算，从而在保持高表示维度的同时降低计算量。

实验结果

研究问题

• RQ1 隐藏神经元中的结构化稀疏性是否能提升深度学习图像恢复的性能与效率？
• RQ2 如何在前馈深度网络中以可微分且可训练的方式强制实现稀疏性？
• RQ3 隐藏表示中的稀疏性是否能在极低计算开销下实现更高的模型容量？
• RQ4 所提出的方法是否能在减少FLOPs的前提下，优于现有模型在图像超分辨率、去噪和压缩伪影去除任务中的表现？
• RQ5 稀疏性对深层网络中表示维度和模型准确率有何影响？

主要发现

• 所提出的NSR模块在仅增加可忽略的计算成本下，实现了比基线模型高4倍的模型容量。
• 在EDSR(S)架构中，具有4个稀疏组和16基数的稀疏+模型在所有基准测试中均优于基线，尽管参数量为基线的4倍。
• 对于大型EDSR(L)模型，稀疏-变体在保持与基线相似准确率的同时，将FLOPs降低了4倍，且模型尺寸不变。
• 在图像去噪任务中，稀疏+模型将模型容量翻倍，PSNR相比基线提升0.08 dB，同时计算量减少2倍。
• 在压缩伪影去除任务中，稀疏-模型在FLOPs减少45%的情况下，PSNR优于DnCNN和ARCNN，展现出更高的效率。
• 可视化结果证实，NSR模块学习到了有意义的、结构化的稀疏模式，显著增强了各类任务中的表征学习能力。