[论文解读] Convolutional Neural Fabrics

Shreyas Saxena, Jakob Verbeek|arXiv (Cornell University)|Jun 8, 2016

Advanced Neural Network Applications参考文献 31被引用 65

一句话总结

本文提出卷积神经织物（Convolutional Neural Fabrics, CNF），一种3D网格结构，通过层、尺度和通道之间的稀疏局部连接，嵌入指数级数量的CNN架构。通过反向传播训练单一织物，该方法实现了对所有嵌入架构的高效联合学习与集成，在MNIST、CIFAR10和部分标签数据集上达到最先进性能，仅需两个超参数：深度和通道数。

ABSTRACT

Despite the success of CNNs, selecting the optimal architecture for a given task remains an open problem. Instead of aiming to select a single optimal architecture, we propose a "fabric" that embeds an exponentially large number of architectures. The fabric consists of a 3D trellis that connects response maps at different layers, scales, and channels with a sparse homogeneous local connectivity pattern. The only hyper-parameters of a fabric are the number of channels and layers. While individual architectures can be recovered as paths, the fabric can in addition ensemble all embedded architectures together, sharing their weights where their paths overlap. Parameters can be learned using standard methods based on back-propagation, at a cost that scales linearly in the fabric size. We present benchmark results competitive with the state of the art for image classification on MNIST and CIFAR10, and for semantic segmentation on the Part Labels dataset.

研究动机与目标

• 为解决在指数级庞大的CNN架构空间中手动搜索最优性能的挑战。
• 消除使用启发式或搜索方法逐一训练和评估单个架构的需要。
• 在单一统一的网络结构中，实现大规模架构间高效参数共享与模型集成。
• 提供一种可扩展的多尺度架构，自然支持语义分割和目标检测等任务的多分辨率输出。

提出的方法

• 在层、空间尺度和通道之间构建具有稀疏、同质局部连接的3D网格特征图。
• 将每个激活定义为前一层局部邻域（包含空间、尺度和通道维度）的非线性函数。
• 仅使用两个主要超参数：层数和通道数，部分变体支持密集连接或跨尺度的通道加倍。
• 通过将非活跃连接设为零，可恢复任意链式结构CNN作为织物中的一条路径。
• 允许通用的权重配置，通过重叠路径间的参数共享，实现多个架构的集成。
• 使用标准反向传播训练整个织物，计算复杂度随织物规模线性增长，从而实现对所有嵌入架构的高效优化。

实验结果

研究问题

• RQ1 单一统一的神经网络结构能否嵌入并高效训练指数级数量的不同CNN架构？
• RQ2 在无需架构搜索或超参数调优的情况下，基于织物的方法在多大程度上可超越手工设计的CNN？
• RQ3 织物中多个架构之间的参数共享如何影响图像分类和语义分割任务的泛化能力与性能？
• RQ4 织物结构能否自然支持多尺度特征学习和多分辨率输出，而无需架构分支？

主要发现

• CNF-dense变体在MNIST上使用数据增强后测试误差为0.33%，仅用530万个参数，达到或超越最先进结果。
• 在CIFAR10上，CNF-dense模型在数据增强下达到7.43%的误差，优于多个先前方法，接近最先进水平5.84%。
• 在CIFAR10上，CNF-sparse变体达到18.89%的误差，表明稀疏性可能限制容量，除非结合更强的正则化或优化方法。
• 在CIFAR10模型中剪枝67%的连接后，误差仅从7.4%上升至8.1%，表现出强鲁棒性，并揭示了紧凑子网络的潜力。
• 对学习到的织物进行可视化揭示了不同的信号传播模式：语义分割模型在早期即分布多尺度特征，而分类模型采用渐进式下采样。
• 通道加倍变体在仅增加50%内存的前提下，可实现最多10倍的通道数，展现出有利的容量-内存权衡。