[论文解读] IRLAS: Inverse Reinforcement Learning for Architecture Search

Minghao Guo, Zhao Zhong+3 more|arXiv (Cornell University)|Dec 13, 2018

Machine Learning in Materials Science参考文献 36被引用 8

一句话总结

IRLAS 提出了一种逆强化学习方法，通过从专家设计的网络（如 ResNet）中学习镜像刺激函数，引导神经架构搜索向拓扑结构简单、高效的架构发展。通过使用 IRL 训练该函数作为启发式策略，智能体能够有效探索搜索空间，同时偏好人类启发的拓扑结构，在 CIFAR-10 和 ImageNet mobile 设置下实现了显著降低的推理延迟的最先进准确率。

ABSTRACT

In this paper, we propose an inverse reinforcement learning method for architecture search (IRLAS), which trains an agent to learn to search network structures that are topologically inspired by human-designed network. Most existing architecture search approaches totally neglect the topological characteristics of architectures, which results in complicated architecture with a high inference latency. Motivated by the fact that human-designed networks are elegant in topology with a fast inference speed, we propose a mirror stimuli function inspired by biological cognition theory to extract the abstract topological knowledge of an expert human-design network (ResNeXt). To avoid raising a too strong prior over the search space, we introduce inverse reinforcement learning to train the mirror stimuli function and exploit it as a heuristic guidance for architecture search, easily generalized to different architecture search algorithms. On CIFAR-10, the best architecture searched by our proposed IRLAS achieves 2.60% error rate. For ImageNet mobile setting, our model achieves a state-of-the-art top-1 accuracy 75.28%, while being 2~4x faster than most auto-generated architectures. A fast version of this model achieves 10% faster than MobileNetV2, while maintaining a higher accuracy.

研究动机与目标

• 为解决现有架构搜索方法生成的架构过于复杂、运行缓慢的问题，通过引入专家设计网络中的拓扑知识。
• 开发一种通用且非限制性的启发式策略，引导搜索过程趋向于拓扑优雅、高效的架构，同时避免直接复制专家设计。
• 通过利用逆强化学习训练基于生物认知原理的镜像刺激函数，提升搜索效率与准确率。
• 在不修改其核心设计的前提下，使该方法可泛化至不同的搜索算法与搜索空间。

提出的方法

• 设计镜像刺激函数，通过从架构组件中提取的状态特征编码，从 ResNet 等专家网络中提取抽象的拓扑表征。
• 应用逆强化学习，通过学习能鼓励拓扑结构与专家网络相似的奖励信号，训练镜像刺激函数。
• 训练后的镜像刺激函数作为启发式奖励，在架构搜索过程中引导智能体趋向于简单、高效的结构，同时不过度约束探索空间。
• 该方法与搜索策略和搜索空间设计正交，可轻松集成至 BlockQNN 和 DARTS 等现有算法中。
• 通过结构变化对特征层级敏感度的测量来评估拓扑相似性，确保该函数能对微小的架构修改作出有意义的响应。
• 超参数 λ 控制拓扑先验的强度；选择 λ = 30 作为准确率与速度之间的最佳平衡点。

实验结果

研究问题

• RQ1 逆强化学习能否有效从专家设计的网络中提取拓扑知识，以指导架构搜索？
• RQ2 引入拓扑引导后，自动生成的架构在复杂度和推理效率方面有何影响？
• RQ3 镜像刺激函数在不同架构搜索算法与搜索空间之间具有多大程度的泛化能力？
• RQ4 在搜索中应用拓扑先验时，准确率与推理速度之间的最优权衡是什么？

主要发现

• 在 CIFAR-10 上，IRLAS 实现了 2.60% 的错误率，表现出与最先进的人工设计及自动生成模型相当的准确率。
• 在 ImageNet mobile 上，IRLAS 达到了 75.28% 的最先进 top-1 准确率，同时比大多数自动生成架构快 2–4 倍。
• IRLAS 的快速变体比 MobileNetV2 快 10%，同时保持更高的准确率，凸显了其效率的提升。
• 镜像刺激函数提升了搜索收敛速度，在 BlockQNN 和 DARTS 基础实验中均观察到更快的收敛。
• 当 λ = 30 时，方法在准确率与速度之间达到最佳平衡；而 λ = 60 会导致准确率下降，因拓扑约束过强。
• 使用镜像刺激函数搜索得到的架构显著更简单，且与 ResNet 的拓扑结构更相似，表现出清晰的残差跳跃连接和更少的冗余连接。