[论文解读] Every Model Learned by Gradient Descent Is Approximately a Kernel Machine

Pedro Domingos|arXiv (Cornell University)|Nov 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 37被引用 49

一句话总结

该论文证明，任何通过梯度下降训练的模型在路径核的作用下大致等同于核机，因此深度网络可作为核方法来解释。

ABSTRACT

Deep learning's successes are often attributed to its ability to automatically discover new representations of the data, rather than relying on handcrafted features like other learning methods. We show, however, that deep networks learned by the standard gradient descent algorithm are in fact mathematically approximately equivalent to kernel machines, a learning method that simply memorizes the data and uses it directly for prediction via a similarity function (the kernel). This greatly enhances the interpretability of deep network weights, by elucidating that they are effectively a superposition of the training examples. The network architecture incorporates knowledge of the target function into the kernel. This improved understanding should lead to better learning algorithms.

研究动机与目标

• 促使理解为什么通过梯度下降训练的深度网络会表现得像核机。
• 证明最终模型可以表达为具有路径核的核机。
• 解释把深度网络视为梯度空间中训练样本的叠加时的可解释性含义。

提出的方法

• 将切线核和路径核定义为学习过程中的梯度流的基础。
• 推导出当学习率趋近于零时，最终模型等于具有路径核的核机。
• 将最终模型表示为 y = sum_i a_i K(x, x_i) + b，其中 K 是路径核。
• 将结果与神经切线核相关联，并在路径积分下显示正定性。
• 讨论梯度下降如何像在一系列切线核上进行提升（boosting）一样工作。

实验结果

研究问题

• RQ1 是否每个通过梯度下降训练的模型都可以表示为具有数据相关核的核机？
• RQ2 如何在学习路径和权重梯度的意义上定义核？
• RQ3 把深度网络视为核机对可解释性和可扩展性有何影响？
• RQ4 这一观点与神经切线核及现有核理论有何关系？
• RQ5 对于非小学习率或非梯度方法存在哪些局限性和未解问题？

主要发现

• 梯度下降产生的模型大致是具有路径核的核机。
• 路径核在学习路径上对梯度的点积进行积分。
• 最终模型是先验模型与依赖于训练数据的核基础校正之和。
• 对于线性模型，路径核简化为点积，从而将感知机恢复为核机。
• 正则化和损失导数通过核对训练样本的权重，影响它们的影响力。
• 该结果通过在梯度空间中将权重表示为训练样本的叠加，提供了可解释性。