[论文解读] Learning to reinforcement learn for Neural Architecture Search

Jorge Gomez-Robles, Joaquin Vanschoren|arXiv (Cornell University)|Nov 9, 2019

Adversarial Robustness in Machine Learning参考文献 16被引用 14

一句话总结

该论文提出了一种用于神经架构搜索（NAS）的深度元强化学习（元-RL）框架，可在多个图像分类数据集上学习可迁移的策略。通过复用先前学习到的策略而非从零开始训练，该智能体在资源受限条件下实现了更优性能，并能有效泛化到未见过的数据集，其架构质量优于标准强化学习方法，同时在训练过程中展现出自适应行为。

ABSTRACT

Reinforcement learning (RL) is a goal-oriented learning solution that has proven to be successful for Neural Architecture Search (NAS) on the CIFAR and ImageNet datasets. However, a limitation of this approach is its high computational cost, making it unfeasible to replay it on other datasets. Through meta-learning, we could bring this cost down by adapting previously learned policies instead of learning them from scratch. In this work, we propose a deep meta-RL algorithm that learns an adaptive policy over a set of environments, making it possible to transfer it to previously unseen tasks. The algorithm was applied to various proof-of-concept environments in the past, but we adapt it to the NAS problem. We empirically investigate the agent's behavior during training when challenged to design chain-structured neural architectures for three datasets with increasing levels of hardness, to later fix the policy and evaluate it on two unseen datasets of different difficulty. Our results show that, under resource constraints, the agent effectively adapts its strategy during training to design better architectures than the ones designed by a standard RL algorithm, and can design good architectures during the evaluation on previously unseen environments. We also provide guidelines on the applicability of our framework in a more complex NAS setting by studying the progress of the agent when challenged to design multi-branch architectures.

研究动机与目标

• 解决在神经架构搜索（NAS）中为每个新数据集从零开始训练强化学习（RL）智能体所导致的高计算成本问题。
• 通过开发一种学习跨多样化数据集的可泛化策略的元-RL智能体，实现在NAS中的迁移学习。
• 评估元-RL智能体是否能在训练过程中自适应调整策略，并在无需进一步训练的情况下泛化到此前未见过的数据集。
• 探索该框架在更复杂架构（如多分支神经网络）中的可扩展性。
• 为在资源受限条件下将元-RL应用于现实世界NAS场景提供实用指导。

提出的方法

• 该方法采用一种深度元-RL算法，对代表不同难度等级图像分类数据集的环境集合学习随机策略。
• 智能体使用循环神经网络（LSTM）建模架构搜索过程中的时序依赖关系，从而在搜索步骤间保持上下文信息。
• 策略通过改进的优势行动-评论者（A2C）算法进行训练，结合元学习目标，以优化在多个任务上的整体性能。
• 该框架使用一个元数据集，包含三个难度逐步提升的数据集（CIFAR-10、CIFAR-100、ImageNet-100），以模拟多样化的搜索环境。
• 在评估阶段，将固定策略应用于两个新的、此前未见过的数据集，以测试零样本泛化能力。
• 动作空间定义在链式结构神经架构上，操作选择基于预定义的基本模块搜索空间。

实验结果

研究问题

• RQ1 元-RL智能体能否学习到一种可在NAS中跨多个图像分类数据集迁移的策略？
• RQ2 即使在资源受限条件下，元-RL智能体是否能根据数据集的难度在训练过程中自适应调整其策略？
• RQ3 当在未见过的数据集上评估时，元-RL智能体的性能与标准RL相比如何？
• RQ4 元-RL框架能否扩展到更复杂的架构（如多分支神经网络）？
• RQ5 哪些超参数配置和架构修改能够提升智能体在复杂搜索空间中的探索与适应能力？

主要发现

• 在资源受限条件下，元-RL智能体在设计性能更优的神经架构方面优于标准RL，展现出有效的训练过程自适应能力。
• 元-RL智能体在训练过程中表现出自适应行为，能根据数据集的难度调整策略，从而提升性能。
• 在两个此前未见过的数据集上评估时，固定策略生成的架构在准确率上更高且更稳定，优于人类设计的基线方法。
• 在多分支设置中，智能体未能充分探索分支结构，而默认选择链式结构网络，表明其在探索方面存在局限性。
• 元-RL智能体的学习进度较慢，初始探索阶段持续时间长，表明超参数调优（尤其是j、η和α）可能提升训练效率。
• 在各数据集上观察到的网络性能低准确率，归因于数据集规模和奖励估计的计算松弛，表明成本降低策略可能影响最终模型质量。