[论文解读] BlockQNN: Efficient Block-wise Neural Network Architecture Generation

Zhao Zhong, Zichen Yang+5 more|arXiv (Cornell University)|Aug 16, 2018

Advanced Neural Network Applications参考文献 52被引用 18

一句话总结

BlockQNN 提出了一种基于强化学习的框架，通过使用 ε-贪婪探索的 Q-learning 方法，实现高效、分块的神经网络架构生成。该方法在 CIFAR-10 上实现了 2.35% 的 top-1 错误率，达到当前最优性能，并在 ImageNet 上实现了 82.0% 的 top-1 准确率，展现出良好的泛化能力，同时减少了搜索空间，并通过分布式学习和早停策略实现在有限硬件上的快速训练。

ABSTRACT

Convolutional neural networks have gained a remarkable success in computer vision. However, most usable network architectures are hand-crafted and usually require expertise and elaborate design. In this paper, we provide a block-wise network generation pipeline called BlockQNN which automatically builds high-performance networks using the Q-Learning paradigm with epsilon-greedy exploration strategy. The optimal network block is constructed by the learning agent which is trained to choose component layers sequentially. We stack the block to construct the whole auto-generated network. To accelerate the generation process, we also propose a distributed asynchronous framework and an early stop strategy. The block-wise generation brings unique advantages: (1) it yields state-of-the-art results in comparison to the hand-crafted networks on image classification, particularly, the best network generated by BlockQNN achieves 2.35% top-1 error rate on CIFAR-10. (2) it offers tremendous reduction of the search space in designing networks, spending only 3 days with 32 GPUs. A faster version can yield a comparable result with only 1 GPU in 20 hours. (3) it has strong generalizability in that the network built on CIFAR also performs well on the larger-scale dataset. The best network achieves very competitive accuracy of 82.0% top-1 and 96.0% top-5 on ImageNet.

研究动机与目标

• 为解决手工设计神经网络带来的高计算成本和复杂性，通过自动化架构生成来应对挑战。
• 通过聚焦于模块化设计而非逐层设计，减少最优网络结构的搜索空间。
• 在有限硬件条件下，利用强化学习实现高效、快速且可泛化的神经架构搜索。
• 提升自动生成网络在 CIFAR 和 ImageNet 等数据集上的性能与可迁移性。
• 开发一种可扩展的分布式框架，加速架构搜索过程，同时保持高准确率。

提出的方法

• 该框架采用带有经验回放和 ε-贪婪探索的 Q-learning 代理，按顺序选择单个网络模块的最优组件层。
• 模块独立生成后堆叠形成完整的神经网络，从而降低整体搜索空间。
• 采用分布式异步训练框架，在多个 GPU 上加速 Q-learning 过程。
• 引入一种早停策略，可早期识别高性能模块，提升训练效率而不损失最终准确率。
• 设计了一种新颖的奖励函数，确保早停模型与收敛模型之间保持强相关性，从而实现更快收敛。
• 该方法应用于 CIFAR-10、CIFAR-100 和 ImageNet 的图像分类任务，其迁移学习效果在人体关键点检测任务中得到验证。

实验结果

研究问题

• RQ1 基于强化学习的分块神经架构搜索能否在图像分类基准上实现最先进性能？
• RQ2 与逐层搜索方法相比，所提出的 BlockQNN 框架在减少搜索空间和计算成本方面表现如何？
• RQ3 在小规模数据集（如 CIFAR）上生成的模块在大规模数据集（如 ImageNet）上具有多大程度的泛化能力？
• RQ4 早停策略能否在无需完整训练的情况下有效识别高性能模块，从而加速搜索过程？
• RQ5 分布式异步 Q-learning 框架是否能在有限硬件条件下实现高效训练，同时保持性能？

主要发现

• BlockQNN 生成的最佳网络在 CIFAR-10 上实现了 2.35% 的 top-1 错误率，优于现有手工设计的网络。
• 在 CIFAR-100 上，BlockQNN 在利用阶段的性能优于随机搜索超过 1%，表明其具有更优的学习效率。
• BlockQNN 最佳模型在 ImageNet 上实现了 82.0% 的 top-1 准确率和 96.0% 的 top-5 准确率，展现出强大的可迁移性，与手工设计模型相比具有竞争力。
• BlockQNN 的快速版本仅使用 1 块 GPU，20 小时内完成训练，性能与使用 32 块 GPU 历时 3 天的完整版本相当。
• 该框架成功实现了迁移学习：自动生成的关键点检测模型在 COCO 数据集上达到 70.5 AP，超过最先进方法（Hourglass 网络）的 70.1 AP。
• 实证结果表明，顺序模块连接并非最优，提示采用其他连接模式可能进一步提升性能。