[论文解读] Deep Clustered Convolutional Kernels

Minyoung Kim, Luca Rigazio|arXiv (Cornell University)|Mar 6, 2015

Advanced Neural Network Applications参考文献 17被引用 12

一句话总结

本文提出深度聚类卷积核（DCCK），一种训练算法，通过在随机梯度下降过程中迭代地分裂和合并卷积核，自动优化卷积神经网络架构。该方法在减少冗余的同时提升性能，在MNIST、GTSRB和CIFAR-10上实现了最先进结果，且参数更少。

ABSTRACT

Deep neural networks have recently achieved state of the art performance thanks to new training algorithms for rapid parameter estimation and new regularization methods to reduce overfitting. However, in practice the network architecture has to be manually set by domain experts, generally by a costly trial and error procedure, which often accounts for a large portion of the final system performance. We view this as a limitation and propose a novel training algorithm that automatically optimizes network architecture, by progressively increasing model complexity and then eliminating model redundancy by selectively removing parameters at training time. For convolutional neural networks, our method relies on iterative split/merge clustering of convolutional kernels interleaved by stochastic gradient descent. We present a training algorithm and experimental results on three different vision tasks, showing improved performance compared to similarly sized hand-crafted architectures.

研究动机与目标

• 解决由人工试错式神经网络架构设计导致的深度学习可扩展性瓶颈。
• 开发一种在训练过程中联合优化模型架构与参数的训练算法。
• 通过基于分裂/合并聚类动态调整核复杂度，减少模型冗余并提升泛化能力。
• 证明自动结构优化可实现优于或等同于手工设计架构的性能，且参数更少。

提出的方法

• 在训练过程中对卷积核执行迭代的分裂/合并聚类过程，以先增加后减少模型复杂度。
• 使用k-means或类似方法对核进行聚类，识别冗余或相似的滤波器以进行合并。
• 合并后，通过随机梯度下降（SGD）对模型进行微调，以在简化后的架构中重新估计参数。
• 该过程在分裂（增加容量）与合并（去除冗余）之间交替进行，由验证数据上的性能表现引导。
• 初始时对所有核均匀应用分裂操作，但本文建议未来工作基于特征可区分性实现选择性分裂。
• 该算法在训练过程中端到端应用，使架构与参数学习同步演化。

实验结果

研究问题

• RQ1 能否设计一种训练算法，在参数估计过程中自动优化CNN架构，从而减少对手动设计的依赖？
• RQ2 与固定的手工设计架构相比，通过分裂/合并实现的迭代核聚类是否能提升泛化能力和性能？
• RQ3 通过消除卷积滤波器中的冗余，该方法能否在更少参数下实现更高准确率？
• RQ4 与SOTA的手动调优模型（如Network-In-Network）相比，自动优化架构的性能如何？
• RQ5 该方法能否扩展至更复杂的数据集（如ImageNet）以及非视觉任务（如语音识别）？

主要发现

• 在MNIST和GTSRB上，DCCK在参数更少的情况下显著优于基线模型。
• 在CIFAR-10上，即使应用于高度优化的Network-In-Network架构，DCCK仍实现了性能提升，证明了其鲁棒性。
• 分裂层并使参数翻倍带来了0.5%的平均误差率改善，表明容量增加可带来渐进性增益。
• DCCK优化的架构在相同参数数量下始终优于原始模型，如训练曲线所示，测试损失更低且准确率更高。
• 速度对比显示，DCCK训练的模型在推理时更快，相同硬件上前向传播时间最多减少15%。
• 该方法表明，通过核聚类实现的自动架构搜索可产生泛化能力更好的模型，尤其在简单数据集上表现更优。