[论文解读] Multinomial Distribution Learning for Effective Neural Architecture Search

Xiawu Zheng, Rongrong Ji+4 more|arXiv (Cornell University)|May 18, 2019

Advanced Neural Network Applications参考文献 32被引用 15

一句话总结

该论文提出 MdeNAS，一种新颖的神经架构搜索方法，将架构搜索建模为多项分布学习问题，其中节点间的操作从一个为高期望性能而优化的学习分布中采样。通过利用性能排名假设以实现训练的早期停止，MdeNAS 仅用 4 GPU 小时和 2 GPU 天分别在 CIFAR-10（2.55% 测试误差）和 ImageNet（75.2% 的 top-1 准确率）上实现了最先进性能，与先前方法相比显著降低了计算成本。

ABSTRACT

Architectures obtained by Neural Architecture Search (NAS) have achieved highly competitive performance in various computer vision tasks. However, the prohibitive computation demand of forward-backward propagation in deep neural networks and searching algorithms makes it difficult to apply NAS in practice. In this paper, we propose a Multinomial Distribution Learning for extremely effective NAS,which considers the search space as a joint multinomial distribution, i.e., the operation between two nodes is sampled from this distribution, and the optimal network structure is obtained by the operations with the most likely probability in this distribution. Therefore, NAS can be transformed to a multinomial distribution learning problem, i.e., the distribution is optimized to have a high expectation of the performance. Besides, a hypothesis that the performance ranking is consistent in every training epoch is proposed and demonstrated to further accelerate the learning process. Experiments on CIFAR10 and ImageNet demonstrate the effectiveness of our method. On CIFAR-10, the structure searched by our method achieves 2.55% test error, while being 6.0x (only 4 GPU hours on GTX1080Ti) faster compared with state-of-the-art NAS algorithms. On ImageNet, our model achieves 75.2% top1 accuracy under MobileNet settings (MobileNet V1/V2), while being 1.2x faster with measured GPU latency. Test code with pre-trained models are available at https://github.com/tanglang96/MDENAS

研究动机与目标

• 解决现有神经架构搜索（NAS）方法计算成本过高的问题，这些方法需要对每个候选架构进行大量训练和验证。
• 克服传统 NAS 的低效性，即在性能评估前必须等待模型完全收敛。
• 开发一种方法，实现在极低内存和计算开销下快速、准确地进行架构搜索，适用于 ImageNet 等大规模数据集。
• 验证一种新假设：架构之间的性能排名在训练各阶段保持一致，从而支持早期评估。
• 设计一种搜索算法，直接学习操作上的多项分布，以高效发现高性能架构。

提出的方法

• 将 NAS 的搜索空间建模为节点间操作的联合多项分布，其中每个操作从该分布中采样。
• 利用早期训练阶段的性能反馈优化分布参数，将概率质量从表现较差的操作转移到表现更好的操作。
• 提出性能排名假设：若架构 A 在任意训练阶段的表现优于架构 B，则其在完全收敛后也极大概率表现更优，从而支持早期停止。
• 使用基于梯度的更新方法学习多项分布参数，以最大化采样架构的期望性能。
• 在搜索过程中直接应用学习到的分布来采样最终架构，而无需在搜索阶段进行完整训练。
• 在 CIFAR-10 上进行搜索，并将最佳细胞结构迁移至 ImageNet，采用 MobileNet 风格的约束以确保公平比较。

实验结果

研究问题

• RQ1 能否从早期训练阶段可靠地预测架构性能排名，从而在 NAS 中实现早期停止？
• RQ2 能否将 NAS 有效重构为多项分布学习问题，以降低计算成本？
• RQ3 学习操作上的分布是否能比强化学习或可微 NAS 方法带来更好的架构发现效果？
• RQ4 在 CIFAR-10 上搜索得到的模型能否成功迁移到 ImageNet 上，并实现具有竞争力的性能和低延迟？
• RQ5 所提方法能否在显著减少 GPU 时间和内存消耗的前提下，实现在 ImageNet 上的最先进准确率？

主要发现

• 在 CIFAR-10 上，MdeNAS 仅用单张 GTX1080Ti 的 4 GPU 小时即实现 2.55% 的测试误差，相比最先进 NAS 方法提速 6.0 倍。
• 在 ImageNet 上采用 MobileNet 设置，MdeNAS 实现 75.2% 的 top-1 准确率，优于 ProxylessNAS（74.8%）和 ShuffleNetV2（72.6%），且实测 GPU 延迟快 1.2 倍。
• 该方法将 ImageNet 上的搜索时间缩短至 2 GPU 天，相比 ProxylessNAS 的 4 GPU 天，显著降低内存消耗。
• 性能排名假设在多个网络和训练阶段均成立，验证了早期评估在架构比较中的有效性。
• 即使在相同搜索空间中采用随机搜索，基线误差率仍为 3.49%，表明 MdeNAS 的优越性能源于其高效的搜索机制，而非仅依赖搜索空间质量。
• 该方法实现了在 ImageNet 上的直接搜索，这对大多数先前的 NAS 方法而言因计算成本过高而不可行，充分证明了其可扩展性和实用性。