[论文解读] Discovering Neural Wirings

Mitchell Wortsman, Ali Farhadi+1 more|arXiv (Cornell University)|Jan 1, 2019

Advanced Neural Network Applications被引用 36

一句话总结

本文提出深度神经布线（DNW），一种通过允许通道独立形成连接来学习神经网络中稀疏、动态连接模式的方法，实现端到端的结构与权重联合学习。该方法在约4100万次浮点运算（FLOPs）下，ImageNet准确率比MobileNetV1高出10%，优于手工设计和随机连接的网络，且可推广至循环网络和连续时间网络。

ABSTRACT

The success of neural networks has driven a shift in focus from feature engineering to architecture engineering. However, successful networks today are constructed using a small and manually defined set of building blocks. Even in methods of neural architecture search (NAS) the network connectivity patterns are largely constrained. In this work we propose a method for discovering neural wirings. We relax the typical notion of layers and instead enable channels to form connections independent of each other. This allows for a much larger space of possible networks. The wiring of our network is not fixed during training -- as we learn the network parameters we also learn the structure itself. Our experiments demonstrate that our learned connectivity outperforms hand engineered and randomly wired networks. By learning the connectivity of MobileNetV1we boost the ImageNet accuracy by 10% at ~41M FLOPs. Moreover, we show that our method generalizes to recurrent and continuous time networks. Our work may also be regarded as unifying core aspects of the neural architecture search problem with sparse neural network learning. As NAS becomes more fine grained, finding a good architecture is akin to finding a sparse subnetwork of the complete graph. Accordingly, DNW provides an effective mechanism for discovering sparse subnetworks of predefined architectures in a single training run. Though we only ever use a small percentage of the weights during the forward pass, we still play the so-called initialization lottery with a combinatorial number of subnetworks. Code and pretrained models are available at https://github.com/allenai/dnw while additional visualizations may be found at https://mitchellnw.github.io/blog/2019/dnw/.

研究动机与目标

• 通过实现动态、可学习的连接性，克服神经网络中固定架构构建模块的局限性。
• 通过放宽基于层的约束，放松神经架构搜索（NAS）中的受约束搜索空间，实现任意通道之间的连接。
• 通过在单次训练中发现高性能子网络，统一神经架构搜索与稀疏神经网络学习。
• 证明学习连接模式的性能优于手工设计或随机连接的架构。
• 将该方法的应用范围扩展至循环网络和连续时间网络，超越前馈模型的限制。

提出的方法

• 该方法用灵活的布线机制替代传统层，使每个通道可与任意其他通道连接，形成潜在连接的全连接图。
• 连接性是可微分的，并通过可微分神经架构搜索方法与网络权重联合训练。
• 推理过程中使用稀疏路由机制，仅选择极少数连接，从而在保持性能的同时降低FLOPs。
• 网络端到端训练，使权重和连接模式可同时优化。
• 该方法将神经架构搜索视为一种组合彩票，其中初始化彩票在大量稀疏子网络中进行。
• 通过将布线机制适配于序列与时间计算，该方法可推广至循环网络和连续时间网络。

实验结果

研究问题

• RQ1 神经网络的连接性是否可以实现端到端学习，而非由架构设计固定？
• RQ2 学习稀疏、动态连接是否能带来优于手工设计或随机连接网络的性能？
• RQ3 该方法是否能在单次训练中从完整图架构中发现高性能子网络？
• RQ4 所学连接模式在ImageNet上的性能与MobileNetV1等标准架构相比如何？
• RQ5 该方法是否可扩展至循环网络和连续时间神经网络？

主要发现

• 所提方法在仅使用约4100万次FLOPs的情况下，将ImageNet top-1准确率相比MobileNetV1提升了10%。
• 所学连接模式在多个基准测试中均优于手工设计和随机连接的网络。
• 该方法在单次训练中即可从完整图架构中发现高性能稀疏子网络，有效解决了组合式架构搜索问题。
• 该方法可推广至循环网络和连续时间网络，证明其在前馈模型之外具有广泛适用性。
• 该方法实现了在组合数量级稀疏子网络上的初始化彩票，尽管推理时仅使用极少数权重。
• 代码与预训练模型已公开，支持可复现性，并推动稀疏架构发现领域的进一步研究。