[论文解读] Breaking the Curse of Dimensionality with Convex Neural Networks

Francis Bach|arXiv (Cornell University)|Dec 30, 2014

Stochastic Gradient Optimization Techniques参考文献 61被引用 321

一句话总结

该论文提出了一类具有非递减、正 homogeneous 激活函数（例如 ReLU）的单隐藏层神经网络的凸优化形式，实现了无需指数级样本复杂度的可证明泛化性能。通过在输出权重上使用非欧几里得正则化，并利用半定规划松弛非凸子问题，该方法能够适应低维结构，并在高维设置下实现非线性变量选择，即使输入维度可能呈指数增长。

ABSTRACT

We consider neural networks with a single hidden layer and non-decreasing homogeneous activa-tion functions like the rectified linear units. By letting the number of hidden units grow unbounded and using classical non-Euclidean regularization tools on the output weights, we provide a detailed theoretical analysis of their generalization performance, with a study of both the approximation and the estimation errors. We show in particular that they are adaptive to unknown underlying linear structures, such as the dependence on the projection of the input variables onto a low-dimensional subspace. Moreover, when using sparsity-inducing norms on the input weights, we show that high-dimensional non-linear variable selection may be achieved, without any strong assumption regarding the data and with a total number of variables potentially exponential in the number of ob-servations. In addition, we provide a simple geometric interpretation to the non-convex problem of addition of a new unit, which is the core potentially hard computational element in the framework of learning from continuously many basis functions. We provide simple conditions for convex relaxations to achieve the same generalization error bounds, even when constant-factor approxi-mations cannot be found (e.g., because it is NP-hard such as for the zero-homogeneous activation function). We were not able to find strong enough convex relaxations and leave open the existence or non-existence of polynomial-time algorithms.

研究动机与目标

• 为解决非参数学习中的维度灾难，提出一种单隐藏层神经网络的凸优化框架。
• 在不依赖数据强假设的前提下，实现对潜在低维结构（如子空间依赖或非线性变量选择）的自适应学习。
• 通过分析凸形式下的逼近误差和估计误差，提供泛化误差的理论保证。
• 探索通过添加新隐藏单元的非凸子问题的凸松弛，研究其在何种条件下能保持泛化误差界。
• 识别凸松弛的几何解释及实现最优性能的充分条件，即使在无法获得常数因子近似的情况下亦可。

提出的方法

• 通过令隐藏单元数量趋于无穷大，并对输出权重施加非欧几里得正则化，将具有非递减、正 homogeneous 激活函数（如 ReLU）的单隐藏层神经网络形式化为凸优化问题。
• 基于 zonotope 和 Hausdorff 距离的几何解释，推导出添加新单元的非凸子问题的凸松弛。
• 通过引入秩-1 矩阵 $ V = vv^ op $ 且满足 $ \|v\|_2 = 1 $，提出 d 维松弛，导出包含约束 $ \|Vz_i\|_2 \leq 2u_i - v^Tz_i \leq \sqrt{z_i^T V z_i} $ 的凸半定规划。
• 通过引入矩阵 $ U = uu^T $、$ V = vv^T $ 和 $ J = uv^T $，提出 (n+d) 维松弛，其约束形式为 $ |\text{tr}(V z_i z_j^T)| \leq 4U_{ij} + z_j^T V z_i - 2\delta_i^T J z_j - 2\delta_j^T J z_i $。
• 考虑符号向量松弛，其中 $ S = ss^T $、$ J = s v^T $，并引入包含 $ \delta_i^T J x_i \geq \max_{j \neq i} |\delta_j^T J x_i| $ 和 $ (x_i^T V x_i)^{1/2} \leq \delta_i^T J x_i $ 的约束。
• 在半定约束下最大化目标函数 $ \frac{1}{2n} \sum_{i=1}^n y_i (\delta_i^T J x_i + v^T x_i) $，从而获得凸松弛。

实验结果

研究问题

• RQ1 在隐藏单元数量无界且对输出权重施加非欧几里得正则化的情况下，凸神经网络能否实现与输入维度无关的泛化误差界？
• RQ2 在何种条件下，添加新单元的非凸子问题的凸松弛能保持相同的泛化误差界？
• RQ3 此类凸形式能否在未知 k 的情况下自适应地识别低维结构（如对 k 维子空间的依赖）？
• RQ4 在高维设置下（即使变量数量呈指数增长），是否可通过输入权重上的稀疏诱导范数实现非线性变量选择？
• RQ5 所提出的凸松弛是否能导出具有非指数级样本复杂度的多项式时间算法？

主要发现

• 该凸形式实现了对未知低维结构（如对 k 维子空间的依赖）的自适应泛化误差界，且无需事先知道 k。
• 当在输入权重上应用稀疏诱导范数时，该方法可在变量数量呈指数增长的高维设置下实现高维非线性变量选择。
• 该方法在逼近误差和估计误差上均提供了理论保证，其中估计误差的量级为 $ O(1/\sqrt{n}) $，但该速率过慢，无法在多项式时间算法下保持误差界。
• 若满足某些几何条件，非凸子问题的凸松弛可实现与原始问题相同的泛化误差界，即使无法获得常数因子近似。
• 将问题几何化为计算 zonotope 之间的 Hausdorff 距离或求解二值线性分类问题，为解空间的结构提供了深刻洞见。
• 尽管理论前景广阔，但目前尚未发现具有非指数级样本复杂度的可证明多项式时间算法，此类算法的存在性或非存在性仍为开放问题。