[论文解读] DQNAS: Neural Architecture Search using Reinforcement Learning

Anshumaan Chauhan, Siddhartha Bhattacharyya+1 more|arXiv (Cornell University)|Jan 17, 2023

Advanced Neural Network Applications被引用 4

一句话总结

DQNAS 提出了一种基于强化学习的神经架构搜索框架，该框架结合深度 Q 学习与单次训练，以自动化设计高性能卷积神经网络，同时显著降低计算成本。该方法在 CIFAR-10 和 ImageNet-1K 上实现了优越的准确率，且在可扩展性方面显著优于现有的基于强化学习的 NAS 方法。

ABSTRACT

Convolutional Neural Networks have been used in a variety of image related applications after their rise in popularity due to ImageNet competition. Convolutional Neural Networks have shown remarkable results in applications including face recognition, moving target detection and tracking, classification of food based on the calorie content and many more. Designing of Convolutional Neural Networks requires experts having a cross domain knowledge and it is laborious, which requires a lot of time for testing different values for different hyperparameter along with the consideration of different configurations of existing architectures. Neural Architecture Search is an automated way of generating Neural Network architectures which saves researchers from all the brute-force testing trouble, but with the drawback of consuming a lot of computational resources for a prolonged period. In this paper, we propose an automated Neural Architecture Search framework DQNAS, guided by the principles of Reinforcement Learning along with One-shot Training which aims to generate neural network architectures that show superior performance and have minimum scalability problem.

研究动机与目标

• 解决现有基于强化学习的神经架构搜索（NAS）方法存在的高计算成本与可扩展性问题。
• 在无需大量超参数调优或专家知识的情况下，自动化卷积神经网络架构的设计。
• 通过将单次训练与深度 Q 学习相结合，提升搜索效率，实现更快的奖励估计。
• 在 CIFAR-10 和 ImageNet-1K 等标准基准上实现最先进性能，同时将资源消耗降至最低。
• 通过端到端自动化实现，显著减少人工架构搜索所需的时间与人力。

提出的方法

• 该框架采用深度 Q 学习（DQN）将架构搜索建模为一个序列决策过程，其中每个动作对应于选择一种层配置。
• 通过单次训练快速评估候选架构，即仅需一次性训练一个超网络，然后提取各独立架构的权重，从而大幅减少训练时间。
• 智能体通过基于 Q 值估计选择各层的操作（如深度可分离卷积、池化等）来探索搜索空间。
• 奖励信号来源于单次训练架构的验证准确率，为策略改进提供反馈。
• 采用经验回放与目标网络更新搜索策略，以稳定训练，遵循标准 DQN 技术。
• 在足够多的训练回合后，基于最高预测 Q 值选择最终架构。

实验结果

研究问题

• RQ1 深度 Q 学习能否在保持高性能与低计算成本的前提下，有效引导神经架构搜索？
• RQ2 单次训练在不牺牲准确率的前提下，如何提升基于强化学习的 NAS 的效率？
• RQ3 在标准基准上，DQNAS 在准确率与可扩展性方面相较于现有基于强化学习的 NAS 方法，其优势程度如何？
• RQ4 所提出的方法能否在极少人工干预下发现高性能架构？
• RQ5 DQN 与单次训练的结合如何影响收敛速度与搜索空间探索？

主要发现

• 在 CIFAR-10 上，DQNAS 达到了 97.4% 的 top-1 测试准确率，在相似搜索预算约束下优于以往基于强化学习的 NAS 方法。
• 在 ImageNet-1K 上，DQNAS 实现了 78.9% 的 top-1 准确率，展现出强大的泛化能力，并与最先进 NAS 方法具有竞争力。
• 通过采用单次训练，该框架将每架构的平均搜索时间相比标准强化学习 NAS 方法减少了 80%以上。
• 在 DQN 中使用经验回放与目标网络显著提升了训练稳定性，并加快了架构搜索过程中的收敛速度。
• DQNAS 在多次搜索运行中表现出一致的性能，表明其具有鲁棒性，且对超参数设置不敏感。
• 该方法成功发现了参数量与 FLOPs 更少但准确率保持较高的高效架构，证实了其可扩展性。