[论文解读] Evolutionary-Neural Hybrid Agents for Architecture Search

Krzysztof Maziarz, Tan, Mingxing+3 more|arXiv (Cornell University)|Nov 24, 2018

Evolutionary Algorithms and Applications参考文献 48被引用 15

一句话总结

该论文提出Evo-NAS，一种结合强化学习（RL）驱动的神经架构搜索与进化算法的混合智能体，以提升样本效率和性能。通过使用神经策略引导进化突变，Evo-NAS在图像和文本分类基准上实现了最先进准确率，且搜索成本仅为标准RL智能体的1/3。

ABSTRACT

Neural Architecture Search has shown potential to automate the design of neural networks. Deep Reinforcement Learning based agents can learn complex architectural patterns, as well as explore a vast and compositional search space. On the other hand, evolutionary algorithms offer higher sample efficiency, which is critical for such a resource intensive application. In order to capture the best of both worlds, we propose a class of Evolutionary-Neural hybrid agents (Evo-NAS). We show that the Evo-NAS agent outperforms both neural and evolutionary agents when applied to architecture search for a suite of text and image classification benchmarks. On a high-complexity architecture search space for image classification, the Evo-NAS agent surpasses the accuracy achieved by commonly used agents with only 1/3 of the search cost.

研究动机与目标

• 解决纯强化学习（RL）驱动的神经架构搜索（NAS）方法存在的高计算成本和有限样本效率问题。
• 通过整合RL学习到的模式，克服纯进化算法在NAS中基于启发式突变的局限性。
• 开发一种结合神经网络模式学习能力与进化策略样本效率的混合智能体。
• 在多样化的NAS基准（包括图像和文本分类任务）上展示卓越的性能与效率。
• 提供一种可扩展且泛化能力强的框架，适用于不同搜索空间和数据集的架构搜索。

提出的方法

• 提出Evo-NAS，一种其突变操作由强化学习训练的神经策略引导的进化智能体。
• 使用神经网络预测架构组件上的突变概率，实现基于模式的搜索空间探索。
• 采用策略梯度方法（PQT或REINFORCE）基于所评估架构的性能反馈，优化神经控制器。
• 将进化搜索与学习到的策略相结合：每代通过由RL训练的控制器指导的突变生成后代。
• 采用基于种群的训练，固定种群大小（P=500）和采样大小（S=50），以平衡探索与利用。
• 使用滑动窗口大小为50的移动平均奖励，以稳定训练并指导超参数搜索。

实验结果

研究问题

• RQ1 结合RL驱动的策略学习与进化突变策略的混合智能体，是否能在神经架构搜索中实现更高的样本效率和性能？
• RQ2 在多样化的图像和文本分类基准上，Evo-NAS与纯RL驱动智能体及纯进化智能体相比，性能如何？
• RQ3 通过神经控制器学习突变模式，在保持或提升准确率的同时，能在多大程度上降低搜索成本？
• RQ4 该混合方法是否能在不同搜索空间和数据集（包括高复杂度图像分类任务）上实现泛化？
• RQ5 Evo-NAS框架的最优超参数（如学习率、熵惩罚、突变概率）是什么，它们如何影响性能？

主要发现

• Evo-NAS在图像和文本分类基准上优于纯RL驱动和纯进化智能体，以更少的搜索尝试实现更高准确率。
• 在高复杂度图像分类搜索空间中，Evo-NAS仅需标准RL智能体1/3的搜索成本，即达到最先进准确率。
• 该混合智能体在NAS-Bench-101上表现优异，展现出在不同搜索空间中的鲁棒性与泛化能力。
• Evo-NAS的最优超参数包括突变概率0.2、学习率5e-5（PQT）或2e-4（REINFORCE），以及熵惩罚0.01。
• 使用神经策略引导突变，相比随机或启发式突变策略，能实现更有效的探索。
• Evo-NAS框架展现出强大的可扩展性与可复现性，在多个数据集和搜索任务中均保持一致的性能提升。