[论文解读] BRP-NAS: Prediction-based NAS using GCNs

Łukasz Dudziak, Thomas Chau+4 more|arXiv (Cornell University)|Jul 16, 2020

Advanced Memory and Neural Computing被引用 82

一句话总结

BRP-NAS 提出了一种基于图卷积网络（GCN）的延迟预测器，用于硬件感知神经架构搜索（NAS），通过使用二元关系学习和迭代数据选择，提升了样本效率。该方法在 NAS-Bench-101 和 NAS-Bench-201 上优于先前的方法，并提出了 LatBench——一个覆盖多种设备的大规模延迟基准。

ABSTRACT

Neural architecture search (NAS) enables researchers to automatically explore broad design spaces in order to improve efficiency of neural networks. This efficiency is especially important in the case of on-device deployment, where improvements in accuracy should be balanced out with computational demands of a model. In practice, performance metrics of model are computationally expensive to obtain. Previous work uses a proxy (e.g., number of operations) or a layer-wise measurement of neural network layers to estimate end-to-end hardware performance but the imprecise prediction diminishes the quality of NAS. To address this problem, we propose BRP-NAS, an efficient hardware-aware NAS enabled by an accurate performance predictor-based on graph convolutional network (GCN). What is more, we investigate prediction quality on different metrics and show that sample efficiency of the predictor-based NAS can be improved by considering binary relations of models and an iterative data selection strategy. We show that our proposed method outperforms all prior methods on NAS-Bench-101 and NAS-Bench-201, and that our predictor can consistently learn to extract useful features from the DARTS search space, improving upon the second-order baseline. Finally, to raise awareness of the fact that accurate latency estimation is not a trivial task, we release LatBench -- a latency dataset of NAS-Bench-201 models running on a broad range of devices.

研究动机与目标

• 解决现有延迟预测器在 NAS 中准确性差的问题，特别是代理方法和逐层方法。
• 通过减少需要训练的模型数量，提升 NAS 中的样本效率，以找到最优架构。
• 开发一种更具鲁棒性的端到端延迟预测器，使其在多种硬件平台上具备泛化能力。
• 实现在不依赖 FLOPS 或模型大小作为代理指标的前提下，实现准确的性能预测。
• 通过发布 LatBench——一个涵盖多个设备的大规模延迟测量数据集，促进 NAS 研究的可复现性。

提出的方法

• 使用图卷积网络（GCN）将神经架构编码为有向图，以捕捉结构依赖关系。
• 将绝对精度预测替换为二元关系预测器，通过比较两个架构的相对性能进行排序，而无需估计精确精度。
• 实施一种迭代数据选择策略，优先选择高性能模型用于预测器训练，以提升预测精度与真实精度的 top-K 排名相关性。
• 利用迁移学习提升不同搜索空间中预测器的性能。
• 在 top-K 排名模型与随机采样模型的组合上训练 GCN 预测器，以平衡探索与利用。
• 发布 Eagle 工具，用于在多种硬件平台上测量和预测模型性能，并发布 LatBench，一个基于真实设备测量的延迟数据集。

实验结果

研究问题

• RQ1 基于 GCN 的端到端延迟预测器是否能在 NAS 中超越代理指标和逐层估计器？
• RQ2 与绝对精度回归相比，采用二元关系学习进行精度预测是否能提升样本效率？
• RQ3 聚焦于高性能模型的迭代数据选择策略，如何提升预测器的泛化能力与 NAS 性能？
• RQ4 延迟估计在不同硬件平台上的差异程度如何？单一预测器是否足够？
• RQ5 大规模真实设备延迟基准是否能提升 NAS 研究的可靠性与可复现性？

主要发现

• 基于 GCN 的延迟预测器在所有测试设备上显著优于代理方法和逐层估计方法，包括台式机 CPU、GPU、嵌入式 GPU、TPU 和移动 DSP。
• 在 NAS-Bench-101 上，仅使用 140 个训练模型，BRP-NAS 在 CIFAR-10 上实现了 94.22% 的测试准确率，优于先前基于预测器的 NAS 方法。
• 二元关系预测器提升了预测精度与真实精度之间的 top-K 排名相关性，从而增强了 NAS 中的样本效率。
• 所发布的 LatBench 延迟基准显示，FLOPS/参数与实际延迟在设备间相关性较低（r < 0.8），验证了设备特定预测器的必要性。
• 预测器在多种硬件上泛化良好，设备间延迟相关性范围为 0.548（TPU 与移动 GPU）至 0.997（CPU 与 GPU），表明存在显著的设备特异性差异。
• 迭代数据选择与二元关系学习减少了所需训练运行次数，BRP-NAS 在 DARTS 搜索空间上，自第一次迭代后性能持续优于随机搜索。