[论文解读] Measuring and regularizing networks in function space

Ari S. Benjamin, David Rolnick+1 more|arXiv (Cornell University)|May 21, 2018

Machine Learning and Algorithms参考文献 30被引用 17

一句话总结

本文提出在函数空间中直接使用 $L^2$ 距离测量和正则化神经网络优化，表明在训练过程中参数空间与函数空间的距离会发散。本文提出了希尔伯特约束梯度下降（HCGD）和基于 $L^2$ 的多任务正则化方法，两者均通过最小化对学习函数的破坏性变化来改善泛化性能，其中 HCGD 在顺序任务（如置换 MNIST）上优于 SGD。

ABSTRACT

To optimize a neural network one often thinks of optimizing its parameters, but it is ultimately a matter of optimizing the function that maps inputs to outputs. Since a change in the parameters might serve as a poor proxy for the change in the function, it is of some concern that primacy is given to parameters but that the correspondence has not been tested. Here, we show that it is simple and computationally feasible to calculate distances between functions in a $L^2$ Hilbert space. We examine how typical networks behave in this space, and compare how parameter $\ell^2$ distances compare to function $L^2$ distances between various points of an optimization trajectory. We find that the two distances are nontrivially related. In particular, the $L^2/\ell^2$ ratio decreases throughout optimization, reaching a steady value around when test error plateaus. We then investigate how the $L^2$ distance could be applied directly to optimization. We first propose that in multitask learning, one can avoid catastrophic forgetting by directly limiting how much the input/output function changes between tasks. Secondly, we propose a new learning rule that constrains the distance a network can travel through $L^2$-space in any one update. This allows new examples to be learned in a way that minimally interferes with what has previously been learned. These applications demonstrate how one can measure and regularize function distances directly, without relying on parameters or local approximations like loss curvature.

研究动机与目标

• 研究神经网络优化过程中参数空间与函数空间轨迹之间的关系。
• 开发一种直接度量神经网络输入-输出函数变化的度量方法，且独立于参数。
• 提出新的优化策略，通过约束函数空间中的移动来正则化学习过程，从而改善泛化性能并缓解灾难性遗忘。
• 证明函数空间正则化在多任务和顺序学习设置中可优于传统的基于参数的正则化。

提出的方法

• 使用 $L^2$ 范数度量神经网络函数之间的距离：$\|f - g\|^2 = \mathbb{E}_X[|f(x) - g(x)|^2]$，通过小批量推理进行近似。
• 在 SGD 优化轨迹上，经验比较 $L^2$ 函数空间距离与 $\ell^2$ 参数空间距离。
• 提出希尔伯特约束梯度下降（HCGD），对每一步优化中函数的 $L^2$ 变化施加惩罚。
• 提出基于 $L^2$ 的多任务正则化方法，通过存储过去输入的工作记忆来限制对先前任务的函数变化。
• 利用数据小批量的经验期望来估计 $L^2$ 距离，实现在无需显式函数表示的情况下高效计算。
• 将 HCGD 与 Adam 优化器结合（Adam+HC），以提升在顺序学习任务（如置换 MNIST）上的性能。

实验结果

研究问题

• RQ1 在 SGD 优化过程中，函数空间轨迹与参数空间轨迹有何不同？
• RQ2 参数之间的 $\ell^2$ 距离在多大程度上可作为函数之间 $L^2$ 距离的可靠代理？
• RQ3 直接对函数空间移动进行正则化是否能改善多任务学习中的泛化性能？
• RQ4 通过 HCGD 约束函数空间移动是否能相比标准 SGD 提升测试性能？
• RQ5 在训练过程中，$L^2/\ell^2$ 比值如何演变，其揭示了优化动力学的何种信息？

主要发现

• 在训练过程中，$L^2/\ell^2$ 比值下降并在测试误差趋于平稳时稳定，表明参数空间与函数空间移动之间存在非平凡关系。
• 希尔伯特约束梯度下降（HCGD）在顺序 MNIST 任务上提升了测试准确率，优于标准 SGD 和 Adam。
• 基于 $L^2$ 的多任务正则化方法在数据效率方面优于对先前任务存储样本进行微调的方法。
• 将 HCGD 与 Adam 结合（Adam+HC）在循环任务上实现了最先进性能，表明通过控制函数空间移动可实现更好的泛化。
• $L^2$ 距离估计器在中等批量大小下表现可靠，具有低方差和良好的经验近似质量。
• HCGD 在概念上与自然梯度相关，两者均通过约束函数空间变化来实现，但使用不同的散度度量（Kullback-Leibler 与 $L^2$）。