[论文解读] Learning One Convolutional Layer with Overlapping Patches

Surbhi Goel, Adam R. Klivans+1 more|arXiv (Cornell University)|Jul 3, 2018

Stochastic Gradient Optimization Techniques被引用 26

一句话总结

该论文提出 Convotron，一种在温和分布假设下，针对具有重叠补丁的单隐藏层卷积网络的可证明高效、随机算法。它利用受保序回归启发的更新机制，在无需学习率调优或特殊初始化的情况下实现全局收敛，并且在分布为高斯分布时，仅通过一个不相交的补丁即可高效恢复权重。

ABSTRACT

We give the first provably efficient algorithm for learning a one hidden layer convolutional network with respect to a general class of (potentially overlapping) patches. Additionally, our algorithm requires only mild conditions on the underlying distribution. We prove that our framework captures commonly used schemes from computer vision, including one-dimensional and two-dimensional and stride convolutions. Our algorithm-- $Convotron$ -- is inspired by recent work applying isotonic regression to learning neural networks. Convotron uses a simple, iterative update rule that is stochastic in nature and tolerant to noise (requires only that the conditional mean function is a one layer convolutional network, as opposed to the realizable setting). In contrast to gradient descent, Convotron requires no special initialization or learning-rate tuning to converge to the global optimum. We also point out that learning one hidden convolutional layer with respect to a Gaussian distribution and just $one$ disjoint patch $P$ (the other patches may be arbitrary) is $easy$ in the following sense: Convotron can efficiently recover the hidden weight vector by updating $only$ in the direction of $P$.

研究动机与目标

• 开发一种针对具有重叠补丁的单隐藏层卷积网络的可证明高效学习算法。
• 减少对数据分布强假设的依赖，仅需对底层分布施加温和条件。
• 即使仅有一个不相交补丁可用时，也能实现高效学习，特别是在高斯分布下。
• 设计一种对噪声具有鲁棒性、且无需学习率调优或特殊初始化的方法。

提出的方法

• Convotron 采用受保序回归启发的迭代更新规则，具有随机性和抗噪声能力。
• 该算法通过一种简单而贪婪的策略，沿与残差误差相关性最高的补丁方向更新权重。
• 它利用卷积层的结构，无需显式反向传播即可高效优化重叠补丁。
• 通过保持目标函数的单调改进，利用保序约束，使方法能够收敛至全局最优。
• 仅需条件均值函数为单层卷积网络，而无需完整的可实现性假设。

实验结果

研究问题

• RQ1 能否为具有重叠补丁的单隐藏层卷积网络设计一种可证明高效的算法？
• RQ2 该算法在温和分布假设下是否仍保持高效性和鲁棒性？
• RQ3 当仅有一个不相交补丁可用时，该算法能否高效恢复真实权重向量？
• RQ4 是否可能避免学习率调优和特殊初始化，同时仍实现全局收敛？

主要发现

• Convotron 是在一般分布下，首个针对具有重叠补丁的单隐藏层卷积网络的可证明高效学习算法。
• 由于其受保序回归启发的更新规则，该算法在无需学习率调优或特殊初始化的情况下收敛至全局最优。
• 在高斯分布下，Convotron 仅通过沿单个不相交补丁方向更新，即可高效恢复隐藏权重向量。
• 该框架可将标准卷积方案（包括一维、二维和步长卷积）作为特例捕获。