[论文解读] aw_nas: A Modularized and Extensible NAS framework

Xuefei Ning, Changcheng Tang+8 more|arXiv (Cornell University)|Nov 25, 2020

Adversarial Robustness in Machine Learning参考文献 22被引用 4

一句话总结

aw_nas 是一个模块化、可扩展且开源的 Python 框架，用于神经架构搜索（NAS），通过定义清晰、可组合的组件，支持多种 NAS 算法和应用。它通过提供精确的延迟和能耗预测模型（例如基于 LSTM 的模型），实现了硬件感知的高效 NAS，与简单相加方法相比，rMSE 最高可降低 9.7 倍，显著提升了 CPU、GPU 和 FPGA 平台的成本估算精度。

ABSTRACT

Neural Architecture Search (NAS) has received extensive attention due to its capability to discover neural network architectures in an automated manner. aw_nas is an open-source Python framework implementing various NAS algorithms in a modularized manner. Currently, aw_nas can be used to reproduce the results of mainstream NAS algorithms of various types. Also, due to the modularized design, one can simply experiment with different NAS algorithms for various applications with awnas (e.g., classification, detection, text modeling, fault tolerance, adversarial robustness, hardware efficiency, and etc.). Codes and documentation are available at https://github.com/walkerning/aw_nas.

研究动机与目标

• 提供一个通用、可扩展且易于使用的 NAS 框架，支持多种 NAS 算法和应用。
• 通过支持模块化、基于组件的设计，解决 NAS 的高计算成本问题，涵盖搜索空间、控制器、评估器和权重管理。
• 通过在 CPU、GPU 和 FPGA 平台上集成精确的延迟和能耗预测模型，支持硬件感知的 NAS。
• 通过开源代码和全面的文档，促进可复现性和实验。
• 通过模块化、可组合的组件和基于预测器的搜索策略，提升 NAS 的样本效率和可扩展性。

提出的方法

• 该框架采用模块化组件架构，各组件（如搜索空间、控制器、评估器、权重管理器和训练器）之间具有明确定义的接口。
• 引入了 'rollout' 抽象（BaseRollout），以标准化组件之间的通信，支持离散和可微分架构。
• 该框架支持多种 NAS 范式，包括强化学习、进化搜索、可微分 NAS 和基于预测器的方法。
• 通过超网络和可微分超网络实现参数共享评估，实现在无需微调的情况下快速评估网络架构。
• 包含一个硬件性能分析管道，用于在 CPU、GPU 和 FPGA 平台上测量延迟和能耗，并利用这些数据训练成本预测模型。
• 实现了三种类型的成本预测模型：线性回归（1-和 2-变体）、多层感知机（MLP）以及基于 LSTM 的模型，可顺序处理模块特征。

实验结果

研究问题

• RQ1 如何设计一个 NAS 框架，使其在多种应用和 NAS 算法中具备模块化、可扩展性和可重用性？
• RQ2 不同成本预测模型对异构硬件平台上神经网络延迟和能耗估算精度的影响是什么？
• RQ3 能否在模块化框架中有效集成基于预测器的 NAS 方法以提升样本效率？
• RQ4 在具有复杂内存访问和并行特性的平台上，硬件成本预测模型的性能与简单相加原始成本相比如何？
• RQ5 该框架在资源受限环境中的实际部署中，能在多大程度上支持硬件感知的 NAS？

主要发现

• 基于 LSTM 的成本预测模型在 GPU 延迟估算中实现了 0.174–0.187 的 rMSE，相比简单相加方法（rMSE = 0.63）提升了 3.6 倍。
• 在 FPGA 能耗估算中，预测模型将 rMSE 从 4.94（简单相加）降低至 0.51，实现了 9.7 倍的改进。
• 该框架的模块化设计可无缝集成多种 NAS 算法，包括强化学习、进化算法、可微分 NAS 和基于预测器的方法。
• 成功实现了 CPU、GPU 和 FPGA 平台上的硬件性能分析自动化，成本预测模型基于原始模块的测量延迟和能耗进行训练。
• 该框架支持广泛的应用，包括图像分类、目标检测、自然语言处理、容错性、对抗鲁棒性以及硬件效率优化。
• 开源发布成本预测模型和硬件资源（如 Intel Xeon、RTX-2080Ti 和 Xilinx ZCU102）支持可复现且可扩展的硬件感知 NAS。