[论文解读] Improved Learning of One-hidden-layer Convolutional Neural Networks with Overlaps

Simon S. Du, Surbhi Goel|arXiv (Cornell University)|May 20, 2018

Neural Networks and Applications参考文献 27被引用 6

一句话总结

该论文提出了首个在重叠补丁下，针对具有两个未知层（共享卷积滤波器和输出权重）的一层卷积神经网络的可证明高效学习算法。通过结合保序回归、非凸景观分析以及托普利茨矩阵的谱性质，作者证明了当步长满足 $ s \geq \lfloor r/2 \rfloor + 1 $ 时，可在对称且各向同性的分布下实现多项式时间可学习性，激活函数为分段线性。

ABSTRACT

We propose a new algorithm to learn a one-hidden-layer convolutional neural network where both the convolutional weights and the outputs weights are parameters to be learned. Our algorithm works for a general class of (potentially overlapping) patches, including commonly used structures for computer vision tasks. Our algorithm draws ideas from (1) isotonic regression for learning neural networks and (2) landscape analysis of non-convex matrix factorization problems. We believe these findings may inspire further development in designing provable algorithms for learning neural networks and other complex models.

研究动机与目标

• 设计一种可证明高效的算法，用于学习一隐藏层卷积神经网络，其中卷积权重和输出权重均为未知参数。
• 将先前针对非重叠补丁的工作扩展到计算机视觉中更常见的重叠补丁的一般情形。
• 克服基于梯度的方法在重叠结构下失效或需要强分布假设的局限性。
• 开发一种合适的学习算法，不依赖于输入分布的知识，也不使用不当学习技术。
• 在较弱假设下（包括输入分布的对称性与各向同性）建立收敛性与泛化性的理论保证。

提出的方法

• 受 Goel 等人（2018）的启发，利用保序回归的洞察，将分段线性激活网络的学习问题转化为线性激活网络的学习问题。
• 将卷积滤波器的学习重新表述为一个非凸矩阵分解问题，利用损失景观的几何特性确保收敛性。
• 分析由输出权重构成的托普利茨矩阵的谱性质，证明其最小特征值下界为 $ 1 - \cos(\pi/(k+1)) $。
• 采用三阶段流程：(1) 通过保序回归估计输出权重，(2) 使用 Convotron 算法的鲁棒变体恢复卷积滤波器，(3) 通过经验风险最小化选择最优假设。
• 分析依赖霍夫丁不等式来界定泛化误差，并对第二层中近似误差下的 Convotron 算法进行鲁棒性分析。
• 该算法设计为恰当学习（proper learning），且无需知道输入分布的概率密度函数，这与张量分解方法形成对比。

实验结果

研究问题

• RQ1 我们能否设计一种可证明高效的算法，用于学习具有重叠补丁和两个未知权重矩阵的一层卷积神经网络？
• RQ2 基于保序回归的从分段线性到线性激活的约化方法，是否能在重叠结构下实现高效学习？
• RQ3 非凸景观分析与托普利茨矩阵的谱性质，是否能在此设置下确保收敛至全局最优？
• RQ4 在对称且各向同性的输入分布下，该算法表现如何？对步长大小有何必要条件？
• RQ5 当第二层权重存在近似误差时，该算法是否仍能保持较低的预测误差？

主要发现

• 当步长满足 $ s \geq \lfloor r/2 \rfloor + 1 $ 时，该算法在对称且各向同性的输入分布下，对具有重叠补丁的一层卷积神经网络实现了多项式时间收敛。
• 在 $ \mathrm{poly}(k, \|\mathbf{w}^*\|, B, \log(1/\epsilon)) $ 次迭代后，以高概率将总体风险控制在 $ \epsilon $ 以内，其中 $ B $ 是输入范数的上界。
• 矩阵 $ \mathbf{P}^\mathbf{a} $ 的最小特征值下界为 $ 1 - \cos(\pi/(k+1)) $，确保了非凸优化阶段的稳定性和收敛性。
• 以高概率，$ \mathbf{w}^{(+)} $ 或 $ \mathbf{w}^{(-)} $ 与真实滤波器 $ \mathbf{w}^* $ 的距离在 $ O(\epsilon / (\sigma_1 r^{1/2} k^{3/2})) $ 以内。
• 最终假设在输入分布上的期望预测误差达到 $ \epsilon $，样本复杂度在 $ k, r, B, \sigma_1, \epsilon^{-1} $ 上为多项式。
• 该方法可推广至非高斯假设，且无需输入密度知识，从而与基于张量或核的方法相区别。