[论文解读] A Provably Correct Algorithm for Deep Learning that Actually Works

Eran Malach, Shai Shalev‐Shwartz|arXiv (Cornell University)|Mar 26, 2018

Anomaly Detection Techniques and Applications参考文献 13被引用 20

一句话总结

该论文提出了一种新颖的、可证明收敛的算法，通过将两层网络上的梯度更新与分层聚类相结合，用于训练深度卷积网络，其理论基础是分层生成模型。尽管假设条件较强，该方法在CIFAR-10上实现了高达73.4%的竞争力准确率，与未使用标准深度学习‘技巧’的普通SGD训练的CNN性能相当。

ABSTRACT

We describe a layer-by-layer algorithm for training deep convolutional networks, where each step involves gradient updates for a two layer network followed by a simple clustering algorithm. Our algorithm stems from a deep generative model that generates mages level by level, where lower resolution images correspond to latent semantic classes. We analyze the convergence rate of our algorithm assuming that the data is indeed generated according to this model (as well as additional assumptions). While we do not pretend to claim that the assumptions are realistic for natural images, we do believe that they capture some true properties of real data. Furthermore, we show that our algorithm actually works in practice (on the CIFAR dataset), achieving results in the same ballpark as that of vanilla convolutional neural networks that are being trained by stochastic gradient descent. Finally, our proof techniques may be of independent interest.

研究动机与目标

• 弥合理论可靠的深度学习算法与实际性能之间的差距。
• 在图像数据的分层生成模型假设下，开发一种具有可证明收敛保证的训练算法。
• 证明理论算法可以在真实世界数据集（如CIFAR-10）上实现实际性能。
• 验证聚类与两层网络训练的结合对于性能至关重要，而非仅仅是随机投影。
• 证明该算法在违反其理论分析中使用的强分布假设条件下仍能有效运行。

提出的方法

• 该算法分层逐层训练深度网络，在每个阶段通过梯度下降更新一个两层网络。
• 每次梯度更新后，执行K-means聚类步骤，将图像块分配给聚类中心，形成离散的潜在表征。
• 通过使用可学习卷积核的3x3卷积操作，将每个图像块映射为一个独热向量，再通过带有固定偏置的ReLU层近似正交嵌入。
• 采用步长为1并结合2x2最大池化操作，以与标准CNN架构对齐。
• 在嵌入特征上使用Adam优化器训练一个两层线性网络（1x1卷积 + 全连接层）进行分类。
• 该过程重复两次，形成双模块架构，随后对完整的特征图进行最终分类器训练。

实验结果

研究问题

• RQ1 一种理论上可证明的深度学习算法是否能在真实世界图像数据上实现实际性能？
• RQ2 分层地结合梯度更新与聚类是否能实现有效的特征学习？
• RQ3 两层网络训练步骤对性能是否至关重要，还是可以被随机投影替代？
• RQ4 理论分析中强假设的分布特性在多大程度上影响了算法在真实世界中的表现？
• RQ5 在不使用常见优化技巧的情况下，该算法与基于SGD的标准CNN在准确率上的表现如何？

主要发现

• 所提出的算法在CIFAR-10上使用全连接分类器实现了73.4%的测试准确率，与使用SGD训练的标准CNN性能相当。
• 当使用线性分类器时，该算法达到68.9%的准确率，仍与基线CNN性能相当。
• 采用随机投影的变体（Clustering+JL）仅达到58.6%的准确率，证明了两层网络训练步骤的必要性。
• 该算法优于使用随机权重的CNN（准确率为61.6%），表明特征学习至关重要，而不仅仅是随机初始化。
• 该方法在未使用数据增强、批量归一化或学习率调度的情况下仍取得具有竞争力的结果，证明其对常见深度学习‘技巧’的缺失具有鲁棒性。
• 尽管违反了理论分析中强假设的独立同分布（i.i.d.）与分层生成模型假设，该算法在实践中仍表现良好，表明这些假设可能捕捉了真实数据的本质结构特性。