[论文解读] Latency-Aware Neural Architecture Search with Multi-Objective Bayesian Optimization

David Eriksson, Pierce Chuang+8 more|arXiv (Cornell University)|Jun 22, 2021

Machine Learning and Data Classification参考文献 24被引用 5

一句话总结

该论文提出了一种基于多目标贝叶斯优化的延迟感知神经架构搜索框架，采用稀疏轴对齐子空间（SAAS）先验和噪声期望超体积改进（qNEHVI）方法，实现高效、高维的搜索。该方法在无需修改训练工作流代码的前提下，在生产规模的设备端自然语言理解（NLU）模型上实现了25%以上的设备端p99延迟降低，同时提升了模型准确率，优于随机搜索和Sobol搜索。

ABSTRACT

When tuning the architecture and hyperparameters of large machine learning models for on-device deployment, it is desirable to understand the optimal trade-offs between on-device latency and model accuracy. In this work, we leverage recent methodological advances in Bayesian optimization over high-dimensional search spaces and multi-objective Bayesian optimization to efficiently explore these trade-offs for a production-scale on-device natural language understanding model at Facebook.

研究动机与目标

• 为解决在移动设备部署的神经架构搜索中，高效探索模型准确率与设备端延迟之间权衡的挑战。
• 开发一种无需修改现有训练流水线代码的NAS方法，以实现与大规模生产训练基础设施的无缝集成。
• 利用贝叶斯优化实现高维、样本高效的多目标优化，兼顾准确率与延迟等相互竞争的目标。
• 在Facebook真实世界、大规模设备端自然语言理解（NLU）模型上验证该方法的有效性。

提出的方法

• 利用基于SAAS先验的全贝叶斯推理框架，对高维搜索空间（24个参数）进行建模，提升泛化能力与稀疏性，实现多目标贝叶斯优化（BO）。
• 采用qNEHVI获取函数，并通过高斯过程（GP）超参数的蒙特卡洛积分，实现在不确定条件下的并行、噪声鲁棒优化。
• 使用打乱的Sobol序列生成32个初始设计点，并异步并行评估16个配置，以在240次评估预算内最大化样本效率。
• 采用无截断采样器（NUTS）进行SAAS-GP模型的后验推断，实现自动相关性确定与高维设置下的鲁棒性。
• 将模型架构与超参数编码为24维搜索空间，包括深度可分离卷积核大小、嵌入与前馈网络（FFN）维度、注意力头数量等。
• 以参考模型（准确率与p99延迟）为基准定义目标函数，参考点设为(1,1)，以约束搜索空间并实现有意义的超体积改进。

实验结果

研究问题

• RQ1 基于SAAS先验的多目标贝叶斯优化能否有效探索真实世界设备端NLU模型中高维搜索空间的神经架构搜索？
• RQ2 与随机搜索和Sobol搜索相比，所提出方法在提升准确率与延迟权衡方面表现如何？
• RQ3 全贝叶斯推理结合NUTS与SAAS先验，在高维贝叶斯优化中能否显著提升模型拟合度与优化稳定性？
• RQ4 结合超参数蒙特卡洛积分的qNEHVI获取函数能否在噪声观测条件下实现高效、并行且鲁棒的优化？

主要发现

• 所提出的贝叶斯优化方法在实现设备端p99延迟降低25%以上的同时，还提升了模型准确率，证明了其在有效探索权衡方面的优势。
• Sobol搜索仅找到两个优于参考点的配置，而贝叶斯优化方法成功识别出多个位于准确率-延迟前沿的Pareto最优架构。
• SAAS先验在留一法交叉验证中显著优于标准MAP估计的GP模型，展现出在高维设置下更优的拟合度与鲁棒性。
• qNEHVI与全贝叶斯推理的结合实现了稳定、并行且样本高效的优化，即使在延迟测量存在噪声的情况下也表现稳健。
• 该方法无需修改现有训练流水线代码，可无缝集成至Facebook的大规模生产训练基础设施中。