[论文解读] Inductive Bias of Multi-Channel Linear Convolutional Networks with Bounded Weight Norm

Meena Jagadeesan, Ilya Razenshteyn+1 more|arXiv (Cornell University)|Feb 24, 2021

Sparse and Compressive Sensing Techniques参考文献 28被引用 6

一句话总结

本文通过推导函数空间中的诱导正则化项，表征了具有有界权重范数的多通道线性卷积网络的归纳偏置。对于单通道输入，正则化项与输出通道数 C 无关，并构成一个半定规划（SDP）；对于多通道输入，偏置依赖于 C，但在 C 较大时会稳定为一个与 C 无关的 SDP，其闭式解分别为核范数（K=1）和 ℓ₂,₁ 组稀疏范数（K=D）。

ABSTRACT

We provide a function space characterization of the inductive bias resulting from minimizing the $\ell_2$ norm of the weights in multi-channel convolutional neural networks with linear activations and empirically test our resulting hypothesis on ReLU networks trained using gradient descent. We define an induced regularizer in the function space as the minimum $\ell_2$ norm of weights of a network required to realize a function. For two layer linear convolutional networks with $C$ output channels and kernel size $K$, we show the following: (a) If the inputs to the network are single channeled, the induced regularizer for any $K$ is independent of the number of output channels $C$. Furthermore, we derive the regularizer is a norm given by a semidefinite program (SDP). (b) In contrast, for multi-channel inputs, multiple output channels can be necessary to merely realize all matrix-valued linear functions and thus the inductive bias does depend on $C$. However, for sufficiently large $C$, the induced regularizer is again given by an SDP that is independent of $C$. In particular, the induced regularizer for $K=1$ and $K=D$ (input dimension) is given in closed form as the nuclear norm and the $\ell_{2,1}$ group-sparse norm, respectively, of the Fourier coefficients of the linear predictor. We investigate the broader applicability of our theoretical results to implicit regularization from gradient descent on linear and ReLU networks through experiments on MNIST and CIFAR-10 datasets.

研究动机与目标

• 理解在多通道线性卷积神经网络中最小化 ℓ₂ 权重范数如何塑造学习预测器的函数空间。
• 将诱导正则化项（实现某一函数所需的最小 ℓ₂ 权重范数）表征为网络架构的函数，特别是卷积核大小 K 和输出通道数 C 的函数。
• 研究增加输出通道数 C 是否能提升单通道或多通道输入下的表征效率。
• 测试理论结果在 ReLU 网络梯度下降中隐式正则化现象的更广泛应用性。
• 通过在 MNIST 和 CIFAR-10 上使用线性与 ReLU 网络的实验，验证理论预测。

提出的方法

• 将诱导正则化项 RΦ(f) 定义为使用给定网络架构 Φ 实现某一函数 f 所需的最小 ℓ₂ 权重范数。
• 对于具有 C 个输出通道的两层线性卷积网络，推导出单通道输入下的 R×(K,C) 为一个半定规划（SDP），并显示其与 C 无关。
• 利用卷积的多项式表示证明 SDP 松弛的紧致性，从而建立存在秩-1 最优解的结论。
• 对于多通道输入，证明 C 是实现所有矩阵值线性函数所必需的，但当 C 足够大时，诱导正则化项会稳定为一个与 C 无关的 SDP。
• 在极端卷积核尺寸下推导出诱导正则化项的闭式表达式：K=1 时为核范数，K=D（输入维度）时为 ℓ₂,₁ 组稀疏范数。
• 通过在 MNIST 和 CIFAR-10 上的实验验证理论预测，比较梯度下降解与显式最小范数预测器（ℓ₂,₁、ℓ₁、ℓ₂）的表现。

实验结果

研究问题

• RQ1 在具有有界 ℓ₂ 权重范数的线性卷积神经网络中，输出通道数 C 如何影响诱导正则化项？
• RQ2 对于单通道输入，表征代价（权重的最小 ℓ₂ 范数）是否与 C 无关？
• RQ3 多通道输入的诱导正则化项是否依赖于 C？若依赖，在何种条件下会稳定？
• RQ4 理论诱导正则化项能否预测在 ReLU 网络梯度下降中观察到的隐式偏差？
• RQ5 卷积核大小 K 和输入通道结构如何影响学习预测器中稀疏性与通道间相似性？

主要发现

• 对于单通道输入，诱导正则化项与输出通道数 C 无关，无论卷积核大小 K 如何。
• 单通道输入的诱导正则化项由一个半定规划（SDP）给出，且对所有 C ≥ 1 均为紧致。
• 对于多通道输入，诱导正则化项依赖于 C，但当 C 足够大时，会收敛为一个与 C 无关的 SDP。
• 当 K=1 时，诱导正则化项为线性预测器傅里叶系数的核范数。
• 当 K=D（输入维度）时，诱导正则化项为傅里叶系数的 ℓ₂,₁ 组稀疏范数。
• 在 MNIST 和 CIFAR-10 上的实验表明，过参数化网络的梯度下降会产生具有频域稀疏性与通道间相似性的预测器，与理论预测一致，尤其在大卷积核尺寸下更为显著。