[论文解读] Greedy Layerwise Learning Can Scale to ImageNet

Eugene Belilovsky, Michael Eickenberg+1 more|arXiv (Cornell University)|Dec 29, 2018

Advanced Neural Network Applications参考文献 52被引用 24

一句话总结

本文提出一种贪婪的、分层训练方法，用于卷积神经网络（CNNs），通过使用浅层的1个或k个隐藏层的辅助问题，按顺序训练每一层，实现在ImageNet上的性能与端到端训练相媲美。该方法利用简单的网络结构和标准组件（如ReLU和卷积），在无需对所有层进行反向传播的情况下，性能超过AlexNet，并与VGG-11的准确率相当。

ABSTRACT

Shallow supervised 1-hidden layer neural networks have a number of favorable properties that make them easier to interpret, analyze, and optimize than their deep counterparts, but lack their representational power. Here we use 1-hidden layer learning problems to sequentially build deep networks layer by layer, which can inherit properties from shallow networks. Contrary to previous approaches using shallow networks, we focus on problems where deep learning is reported as critical for success. We thus study CNNs on image classification tasks using the large-scale ImageNet dataset and the CIFAR-10 dataset. Using a simple set of ideas for architecture and training we find that solving sequential 1-hidden-layer auxiliary problems lead to a CNN that exceeds AlexNet performance on ImageNet. Extending this training methodology to construct individual layers by solving 2-and-3-hidden layer auxiliary problems, we obtain an 11-layer network that exceeds several members of the VGG model family on ImageNet, and can train a VGG-11 model to the same accuracy as end-to-end learning. To our knowledge, this is the first competitive alternative to end-to-end training of CNNs that can scale to ImageNet. We illustrate several interesting properties of these models theoretically and conduct a range of experiments to study the properties this training induces on the intermediate layers.

研究动机与目标

• 探究深度卷积神经网络是否能在无需端到端反向传播的情况下，在ImageNet等大规模数据集上实现高性能。
• 确定按顺序训练浅层子问题是否能获得与标准深度学习流水线相当的性能。
• 探索分层训练是否能保持甚至增强如渐进线性可分性等有益表征特性。
• 开发一种可扩展、内存高效的训练替代方案，支持模型压缩和并行化潜力。
• 通过建立在已知的浅层网络理论基础上，提供一个理论可处理的框架，用于分析深度学习机制。

提出的方法

• 通过使用标准卷积和ReLU组件，按顺序求解每个CNN层的监督型1个隐藏层（或k个隐藏层）的辅助学习问题，实现分层训练。
• 为每个辅助问题定义全局目标，以直接指定单个层的功能行为，避免使用间接的梯度信号。
• 在每层训练完成后立即应用模型压缩（滤波器剪枝与微调），以减少参数数量并加快后续训练。
• 通过空间下采样和架构修改（如最大池化）保持与标准模型（如VGG-11）的兼容性。
• 使用与目标模型架构一致的辅助网络训练最终层（例如，与VGG-11的全连接头匹配）。
• 利用未完全收敛的早期层的中间表征，以改善后续层的训练，表明存在部分并行化的潜力。

实验结果

研究问题

• RQ1 贪婪的分层训练方法是否能在ImageNet上实现与端到端训练相媲美的性能？
• RQ2 按顺序训练的各层是否表现出渐进线性可分性，这一特性与深度网络的成功密切相关？
• RQ3 是否仅使用1个或3个隐藏层的辅助问题，就能实现与VGG等深层模型相当的性能？
• RQ4 在分层训练流程中集成模型压缩，是否能在减小模型尺寸的同时保持准确率？
• RQ5 尽管类似方法在ImageNet上曾屡次失败，该方法是否仍能扩展到大规模数据集？

主要发现

• 该贪婪分层方法仅通过训练1个隐藏层的辅助问题，就在ImageNet上超越了AlexNet的性能。
• 使用3个隐藏层的辅助问题训练的11层网络，在ImageNet上的性能与多个VGG模型变体相当。
• 当采用相同的45轮次训练调度和架构配置时，该方法在准确率上与端到端训练的VGG-11相当。
• 在CIFAR-10上，每层训练后应用模型压缩（滤波器从128减少到64）仅导致0.1%的准确率下降（87.6% vs. 87.5%）。
• 即使早期层的特征未完全收敛，也可用于改善后续层的训练，表明存在部分并行化的潜力。
• 在相同内存约束下，该方法可在内存受限或大规模应用场景中训练出比端到端方法更大的模型，展现出显著优势。