[论文解读] Input Similarity from the Neural Network Perspective

Guillaume Charpiat, Nicolas Girard+2 more|arXiv (Cornell University)|Feb 10, 2021

Neural Networks and Applications被引用 28

一句话总结

这篇论文定义了一个由神经网络驱动的输入相似性概念，分析其数学性质，并利用它来估计样本密度并研究在带噪标签下的自去噪。它还研究在训练过程中的相似性强制及对遥感图像配准的实际应用。

ABSTRACT

We first exhibit a multimodal image registration task, for which a neural network trained on a dataset with noisy labels reaches almost perfect accuracy, far beyond noise variance. This surprising auto-denoising phenomenon can be explained as a noise averaging effect over the labels of similar input examples. This effect theoretically grows with the number of similar examples; the question is then to define and estimate the similarity of examples. We express a proper definition of similarity, from the neural network perspective, i.e. we quantify how undissociable two inputs $A$ and $B$ are, taking a machine learning viewpoint: how much a parameter variation designed to change the output for $A$ would impact the output for $B$ as well? We study the mathematical properties of this similarity measure, and show how to use it on a trained network to estimate sample density, in low complexity, enabling new types of statistical analysis for neural networks. We analyze data by retrieving samples perceived as similar by the network, and are able to quantify the denoising effect without requiring true labels. We also propose, during training, to enforce that examples known to be similar should also be seen as similar by the network, and notice speed-up training effects for certain datasets.

研究动机与目标

• 定义一个内在的、以网络为中心的输入相似性概念，该概念反映输入通过参数更新相互影响的方式
• 分析普通网络和参数共享网络的相似性度量的数学性质
• 开发快速、低复杂度的估计器，用以从训练好的网络量化样本邻域
• 展示相似性度量如何在有标签噪声的情况下量化自去噪效应
• 研究在训练时强制相似性的可行性，以加速学习和提高鲁棒性
• 将该框架应用于分析带噪标签的遥感图像配准任务

提出的方法

• 将相似性定义为一个输入通过参数更新对另一个输入的影响，导致基于梯度的核：k^N_theta(x,x') = (∇_θ f_θ(x) · ∇_θ f_θ(x')) / ||∇_θ f_θ(x)||^2
• 引入对称、界限的相关核 k^C_theta(x,x') = (∇_θ f_θ(x)/||∇_θ f_θ(x)||) · (∇_θ f_θ(x')/||∇_θ f_θ(x')||
• 扩展到更高的输出维度，给出核 K_theta 及其归一化变体 K^C_theta；定义 k^C_theta(x,x') = (1/d) Tr K^C_theta(x,x')
• 提出一个快速、低复杂度的密度估计量 N_S(x) = sum_{x'} k^C_theta(x,x')，在输出为 1D 时实现线性时间计算（并可扩展到更高的 d）
• 在输出为概率时，讨论采用简化的二值视角进行分类以及与费舍尔信息的联系
• 通过添加与 -k^C_theta(x,x') 成正比的损失项来在训练时强制相似性，并分析其计算方面的影响（双向反向传播）

实验结果

研究问题

• RQ1 在神经网络中本质的输入相似性到底是什么，如何通过梯度进行定量？
• RQ2 这种相似性如何与样本密度以及在带噪标签下网络的去噪行为相关？
• RQ3 是否可以使用所提出的相似性度量高效地估计邻居计数和密度？
• RQ4 在训练期间强制相似性的效果与潜在收益是什么？
• RQ5 如何将相似性框架应用于分析和改进带噪注释的现实任务，如遥感图像配准？

主要发现

• 基于梯度的相似性度量（k^C_theta）提供了一个有意义的、对称的输入相似性概念，界于 [-1,1]，并以网络的行为为基础
• 该框架解释并量化了在带有噪声标签的训练中出现的自去噪效应，因为相似输入会产生对齐的输出并降低方差
• 一个快速估计器（N_S）在输出为1D时实现线性时间计算邻域密度，并在较小的复杂度下扩展到更高维
• 相似性统计揭示了训练轮次如何改变输入邻域，指示学习过程中输入的判别性在演变
• 在训练中强制相似性可以在某些数据集（如 MNIST）上加速收敛，并影响学习动力学
• 该方法应用于遥感图像配准任务，表明网络感知的相似性与直观的邻域结构一致，超越感知损失基线