[论文解读] CNN Denoisers as Non-Local Filters: The Neural Tangent Denoiser.

Julián Tachella, Junqi Tang+1 more|arXiv (Cornell University)|Jun 3, 2020

Image and Signal Denoising Methods参考文献 17被引用 3

一句话总结

本文提出了神经正切去噪器（NTD），一种理论框架，通过神经正切核（NTK）将CNN去噪器解释为非局部滤波器，实现无需训练的闭式滤波器推导。研究发现，Adam优化器引起的权重更新幅度大于NTK理论预测，从而实现自适应非局部滤波，该结论通过大量图像去噪实验得到验证。

ABSTRACT

Convolutional Neural Networks (CNNs) are now a well-established tool for solving computational imaging problems. Modern CNN-based algorithms obtain state-of-the-art performance in diverse image restoration problems. Furthermore, it has been recently shown that, despite being highly overparameterized, networks trained with a single corrupted image can still perform as well as fully trained networks, a phenomenon encapsulated in the deep image prior. We introduce a novel interpretation of denoising networks with no clean training data in the context of the neural tangent kernel (NTK), elucidating the strong links with well-known non-local filtering techniques, such as non-local means or BM3D. The filtering function associated with a given network architecture can be obtained in closed form without need to train the network, being fully characterized by the random initialization of the network weights. While the NTK theory accurately predicts the filter associated with networks trained using standard gradient descent, our analysis shows that it falls short to explain the behaviour of networks trained using the popular Adam optimizer. The latter achieves a larger change of weights in hidden layers, adapting the non-local filtering function during training. We evaluate our findings via extensive image denoising experiments.

研究动机与目标

• 理解在无干净数据情况下训练的CNN去噪器的泛化行为，特别是在深度图像先验（Deep Image Prior）背景下的表现。
• 建立基于CNN的去噪器与经典非局部滤波方法（如非局部均值和BM3D）之间的理论联系。
• 分析NTK理论预测与使用Adam优化器训练的网络实际行为之间的差异。
• 仅基于网络权重初始化，无需训练，推导出CNN去噪器的闭式滤波函数。
• 在图像去噪基准上评估所提框架的实证性能。

提出的方法

• 基于网络权重的随机初始化，仅通过神经正切核（NTK）理论，推导出CNN去噪器的闭式滤波函数。
• 应用NTK理论，预测使用标准梯度下降训练的去噪网络的输出。
• 将NTK预测结果与使用Adam优化器训练的实际网络行为进行比较，发现显著偏差。
• 证明Adam在隐藏层中引起比NTK预测更大的权重更新，从而实现在训练过程中动态适应非局部滤波函数。
• 通过在标准基准上进行大量图像去噪实验，验证理论框架的有效性。
• 利用NTK框架将去噪过程解释为非局部滤波操作，建立深度学习与经典图像处理之间的联系。

实验结果

研究问题

• RQ1 如何基于神经正切核（NTK）理论，仅通过网络随机权重初始化，以闭式形式表征无干净数据训练的CNN去噪器的滤波行为？
• RQ2 NTK理论在多大程度上能准确预测使用标准梯度下降训练的去噪网络的行为？
• RQ3 为何Adam优化器带来的去噪性能优于NTK理论预测？
• RQ4 CNN去噪器与经典非局部滤波技术（如非局部均值或BM3D）之间存在何种关系？
• RQ5 是否可以仅通过随机权重初始化完全确定去噪网络的滤波函数，而无需任何训练？

主要发现

• 基于网络的随机权重初始化，仅通过神经正切核（NTK）即可推导出CNN去噪器的闭式滤波函数，无需任何训练。
• NTK理论能准确预测使用标准梯度下降训练的网络的滤波行为，证实了其在该训练范式下的有效性。
• 使用Adam优化器训练的网络在隐藏层中表现出显著大于NTK理论预测的权重更新，从而带来更优的去噪性能。
• Adam优化的网络在训练过程中动态调整其非局部滤波函数，而NTK理论无法捕捉这一特性，表明NTK在解释自适应优化方面存在根本性局限。
• 所提出的神经正切去噪器（NTD）框架成功解释了仅用一张受损图像训练的去噪器所表现出的强大泛化能力，将其与非局部滤波原理联系起来。
• 实证结果表明，理论预测与图像去噪基准上的实际性能高度一致，验证了该框架的准确性与实用性。