[论文解读] Local Kernel Renormalization as a mechanism for feature learning in overparametrized Convolutional Neural Networks

Riccardo Aiudi, R. Pacelli+3 more|arXiv (Cornell University)|Jul 21, 2023

Machine Learning and ELMComputer Science被引用 3

一句话总结

该论文提出局部核重归一化作为过参数化卷积神经网络（CNNs）中特征学习的机制，与全连接（FC）网络中的全局重归一化形成对比。在比例极限（P, N₁ → ∞ 且 α₁ = P/N₁ 固定）的理论框架下，表明CNN通过参数矩阵 Q̄ᵢⱼ 实现数据相关、空间局部化的核调整，从而实现有效的特征学习——而FC网络仅通过单个核参数的全局缩放实现。

ABSTRACT

Feature learning, or the ability of deep neural networks to automatically learn relevant features from raw data, underlies their exceptional capability to solve complex tasks. However, feature learning seems to be realized in different ways in fully-connected (FC) or convolutional architectures (CNNs). Empirical evidence shows that FC neural networks in the infinite-width limit eventually outperform their finite-width counterparts. Since the kernel that describes infinite-width networks does not evolve during training, whatever form of feature learning occurs in deep FC architectures is not very helpful in improving generalization. On the other hand, state-of-the-art architectures with convolutional layers achieve optimal performances in the finite-width regime, suggesting that an effective form of feature learning emerges in this case. In this work, we present a simple theoretical framework that provides a rationale for these differences, in one hidden layer networks. First, we show that the generalization performance of a finite-width FC network can be obtained by an infinite-width network, with a suitable choice of the Gaussian priors. Second, we derive a finite-width effective action for an architecture with one convolutional hidden layer and compare it with the result available for FC networks. Remarkably, we identify a completely different form of kernel renormalization: whereas the kernel of the FC architecture is just globally renormalized by a single scalar parameter, the CNN kernel undergoes a local renormalization, meaning that the network can select the local components that will contribute to the final prediction in a data-dependent way. This finding highlights a simple mechanism for feature learning that can take place in overparametrized shallow CNNs, but not in shallow FC architectures or in locally connected neural networks without weight sharing.

研究动机与目标

• 解释为何过参数化的CNN在泛化性能上优于全连接网络（FCNs），尽管两者均处于无限宽度极限。
• 识别CNN中存在但FCN中缺失的、且在无权重重叠的局部连接网络中也不存在的特征学习机制。
• 使用统计力学方法，形式化一隐层网络中全局与局部核重归一化之间的差异。
• 证明CNN中的局部核重归一化可实现数据相关、空间自适应的核矩阵调整，从而提升泛化性能。

提出的方法

• 在比例极限（P, N₁ → ∞ 且 α₁ = P/N₁ 固定）下，利用统计场论推导一隐层CNN的有效作用量。
• 将CNN得到的核结构与FCN进行比较，表明CNN表现出具有空间索引 i, j 的四索引局部核 Kᵢⱼ^{μν}。
• 识别出CNN通过参数矩阵 Q̄ᵢⱼ 实现核重归一化，从而实现局部、数据相关的调整，而FCN仅使用单个标量 Q̄。
• 采用高斯过程框架（NNGP）对网络输出进行建模，并分析训练过程中核的演化。
• 通过CIFAR10二分类任务的有限尺寸标度实验验证理论预测，采用全批量梯度下降和ADAM优化器进行训练。
• 使用离散化的朗之万动力学（T = η = 2×10⁻³）对后验分布进行采样，并在5×10⁶个周期内评估泛化损失。

实验结果

研究问题

• RQ1 为何过参数化的CNN在泛化性能上优于全连接网络，尽管两者均处于无限宽度极限？
• RQ2 是什么机制使得CNN具备FCN或无权重重叠的局部连接网络所不具备的特征学习能力？
• RQ3 在比例极限下，CNN中的核结构与FCN中的核结构有何不同？
• RQ4 CNN中的局部核重归一化能否被形式化为对核矩阵的数据相关、空间自适应调整？
• RQ5 与FC网络中的全局重归一化相比，局部核重归一化在多大程度上提升了泛化性能？

主要发现

• 在比例极限下，FC网络通过单个标量参数 Q̄ 实现全局核重归一化，对整个核矩阵 Kᵢⱼ^{μν} 进行均匀缩放。
• 相比之下，CNN通过参数矩阵 Q̄ᵢⱼ 实现局部核重归一化，从而实现数据相关、空间局部化的核调整。
• 局部核 Kᵢⱼ^{μν} 捕获了图像块之间的空间相关性，使网络能够选择性地强调相关局部特征。
• 有限尺寸标度实验确认，CNN表现出核矩阵的非平凡均值偏移（例如在 α₁ = 1 时，ΔK̄_{μν}|₁₁ ≈ -1.045），而FCN则显示出一致的负方差趋势（σ²(ΔK_{μν}|₀₁) ≈ -2.15 ± 0.01），表明其为全局调参。
• 在 N₀ = 6400 和 N₀ = 1600 下的实验结果证实，局部重归一化效应在不同输入尺寸下均具有鲁棒性，CNN表现出显著的核偏移（例如在 α₁ = 10 时，ΔK̄_{μν}|₁₁ ≈ 0.998），而FCN始终保持全局调参。
• 理论与实证结果共同证实，局部核重归一化是CNN中一种独特的特征学习机制，而在FCN及无权重重叠的局部连接网络中均不存在。