[论文解读] Improving One-shot NAS by Suppressing the Posterior Fading

Xiang Li, Lin Chen+5 more|arXiv (Cornell University)|Oct 6, 2019

Video Surveillance and Tracking Methods参考文献 33被引用 9

一句话总结

该论文提出后验收敛神经架构搜索（PC-NAS），一种一次性神经架构搜索方法，通过动态缩小搜索空间逐步缓解权重共享NAS中的后验衰减问题。通过引导代理后验趋向真实参数后验，PC-NAS在小搜索空间中实现76.8%的ImageNet top-1准确率，在大搜索空间中达到78.1%，同时严格满足延迟约束，并在目标检测与重识别任务中展现出强大的可迁移性。

ABSTRACT

There is a growing interest in automated neural architecture search (NAS). To improve the efficiency of NAS, previous approaches adopt weight sharing method to force all models share the same set of weights. However, it has been observed that a model performing better with shared weights does not necessarily perform better when trained alone. In this paper, we analyse existing weight sharing one-shot NAS approaches from a Bayesian point of view and identify the posterior fading problem, which compromises the effectiveness of shared weights. To alleviate this problem, we present a practical approach to guide the parameter posterior towards its true distribution. Moreover, a hard latency constraint is introduced during the search so that the desired latency can be achieved. The resulted method, namely Posterior Convergent NAS (PC-NAS), achieves state-of-the-art performance under standard GPU latency constraint on ImageNet. In our small search space, our model PC-NAS-S attains 76.8 % top-1 accuracy, 2.1% higher than MobileNetV2 (1.4x) with the same latency. When adopted to the large search space, PC-NAS-L achieves 78.1 % top-1 accuracy within 11ms. The discovered architecture also transfers well to other computer vision applications such as object detection and person re-identification.

研究动机与目标

• 解决一次性NAS中后验衰减的关键问题，即共享权重因模型数量增加导致KL散度增大，无法准确反映真实模型性能。
• 通过将代理后验与真实参数后验对齐，提升共享权重在架构排序中的预测准确性。
• 实现高效、延迟受限的架构搜索，同时保持高性能和在视觉任务间的强可迁移性。
• 开发一种实用且可扩展的NAS框架，在标准GPU延迟约束下超越现有一次性及进化搜索方法。

提出的方法

• 将一次性NAS建模为贝叶斯模型选择问题，从概率视角分析权重共享的局限性。
• 识别后验衰减为核心问题：超级图中模型数量增加时，真实后验与代理后验之间的KL散度随之增大。
• 引入多阶段训练过程，通过维护并更新高潜力部分模型池，逐步缩小搜索空间。
• 在每个训练周期，从池中采样部分模型，扩展为完整模型并重新评估，形成新的、更小的候选池。
• 在搜索过程中施加硬性延迟约束，确保最终架构满足目标推理速度。
• 利用缩小的搜索空间提升后验收敛性，增强共享权重性能估计的可靠性。

实验结果

研究问题

• RQ1 为何一次性NAS中的共享权重无法准确预测单个架构的真实性能？
• RQ2 超级图中模型数量的增加如何影响真实参数后验与代理后验之间的差异？
• RQ3 动态且渐进的搜索空间缩小策略能否提升后验收敛性与架构排序准确性？
• RQ4 在严格延迟约束下，所提方法相较于标准一次性及进化搜索方法的性能优势有多大？
• RQ5 所发现的架构在目标检测与行人重识别等下游任务中的迁移性能如何？

主要发现

• PC-NAS-S在与MobileNetV2相同延迟（1.4x）下实现76.8%的ImageNet top-1准确率，超越MobileNetV2 2.1%，且比EfficientNet-B0快20%。
• 在更大搜索空间中，PC-NAS-L在11ms延迟内达到78.1% top-1准确率，优于相同约束下的先前SOTA方法。
• 共享权重准确率与独立训练准确率之间的皮尔逊相关系数从一次性方法的0.11提升至PC-NAS的0.92，表明预测能力显著增强。
• 与进化搜索结合时，PC-NAS训练的超级图可实现75.9% top-1准确率，较PC-NAS-L低2.2%，证明该方法在标准搜索策略中更具优势。
• PC-NAS-L主干网络在COCO目标检测任务中达到38.5 mAP，在Market-1501重识别任务中达到81.0% mAP，优于MobileNetV2，且参数更少、推理更快，接近ResNet101性能。