[论文解读] Correlated Weights in Infinite Limits of Deep Convolutional Neural Networks

Adrià Garriga-Alonso, Mark van der Wilk|arXiv (Cornell University)|Jan 11, 2021

Stochastic Gradient Optimization Techniques参考文献 29被引用 4

一句话总结

本文通过引入相关权重先验，而非依赖如平均池化等架构改动，在无限宽卷积神经网络中保持空间相关性。结果表明，在无限宽极限下，中等程度的权重相关性优于独立权重和平均池化，将局部连接与池化架构统一为一个连续谱，且性能更优。

ABSTRACT

Infinite width limits of deep neural networks often have tractable forms. They have been used to analyse the behaviour of finite networks, as well as being useful methods in their own right. When investigating infinitely wide convolutional neural networks (CNNs), it was observed that the correlations arising from spatial weight sharing disappear in the infinite limit. This is undesirable, as spatial correlation is the main motivation behind CNNs. We show that the loss of this property is not a consequence of the infinite limit, but rather of choosing an independent weight prior. Correlating the weights maintains the correlations in the activations. Varying the amount of correlation interpolates between independent-weight limits and mean-pooling. Empirical evaluation of the infinitely wide network shows that optimal performance is achieved between the extremes, indicating that correlations can be useful.

研究动机与目标

• 探究无限宽CNN中空间相关性的损失是否为无限极限的必然结果。
• 确定如平均池化等架构改动是否为在无限宽CNN中重新引入空间相关性的唯一途径。
• 探索相关权重先验是否可在不改变网络架构的前提下，在无限极限下维持空间相关性。
• 通过实验评估，中等程度的权重相关性是否优于极端情况（独立权重或平均池化）的性能。

提出的方法

• 作者通过在卷积核权重上引入由相关性结构参数化的相关先验，扩展了现有的CNN无限宽极限框架。
• 推导了在该相关权重先验下，网络先验分布的无限宽极限，表明激活中的空间相关性得以保留。
• 该方法可通过单一相关性超参数，连续插值于独立权重先验（即局部连接网络）与平均池化之间。
• 理论分析表明，当权重相关时，极限核保留了空间相关性，而标准独立先验极限则不具备此特性。
• 在CIFAR-10和MNIST上通过在无限宽极限下精确计算核函数，对不同相关性水平下的性能进行了实证评估。
• 该方法将离散的架构选择（如平均池化）替换为连续超参数，为未来实现基于梯度的优化提供了可能。

实验结果

研究问题

• RQ1 无限宽CNN中空间相关性的损失是否是无限极限的必然结果，还是源于独立权重先验的选择？
• RQ2 在无限宽极限下，是否可在不修改网络架构的前提下保留激活中的空间相关性？
• RQ3 在权重间引入连续相关性参数，是否能带来优于独立权重或平均池化极端情况的性能？
• RQ4 是否可将最终层的平均池化这一离散架构选择，替换为中间层的连续相关性参数而不会导致性能下降？
• RQ5 无限网络中的相关权重先验能否为有限宽度网络中的更好先验或初始化方案提供启示？

主要发现

• 无限宽CNN中空间相关性的损失并非无限极限的固有属性，而是源于使用独立权重先验。
• 引入相关权重先验可在无限宽极限下仍保留激活中的空间相关性。
• 实证结果表明，最优性能出现在中等程度的权重相关性水平，优于独立权重和平均池化。
• 最终层的平均池化可被中等相关性水平替代而不会造成性能下降，证明了该方法的灵活性。
• 该方法将局部连接网络与平均池化架构统一为一个连续谱，且性能在中等相关性水平达到峰值。
• 该框架支持连续超参数优化，而非离散的架构选择，为更高效的架构搜索提供了路径。