[论文解读] Analyzing and Mitigating Interference in Neural Architecture Search

Jin Xu, Xu Tan+6 more|arXiv (Cornell University)|Aug 29, 2021

Advanced Neural Network Applications参考文献 52被引用 12

一句话总结

本文提出MAGIC，一种通过最小化连续子模型样本之间的拓扑变化（MAGIC-T）并统一共享算子的输入/输出（MAGIC-A）来减少权重共享神经架构搜索（NAS）中干扰的方法。该方法提升了预测准确率与实际准确率之间的等级相关性，从而发现的BERT架构在GLUE开发集和测试集上分别优于RoBERTa 1.1分和0.6分，并优于ELECTRA 1.6分和1.1分。

ABSTRACT

Weight sharing is a popular approach to reduce the cost of neural architecture search (NAS) by reusing the weights of shared operators from previously trained child models. However, the rank correlation between the estimated accuracy and ground truth accuracy of those child models is low due to the interference among different child models caused by weight sharing. In this paper, we investigate the interference issue by sampling different child models and calculating the gradient similarity of shared operators, and observe: 1) the interference on a shared operator between two child models is positively correlated with the number of different operators; 2) the interference is smaller when the inputs and outputs of the shared operator are more similar. Inspired by these two observations, we propose two approaches to mitigate the interference: 1) MAGIC-T: rather than randomly sampling child models for optimization, we propose a gradual modification scheme by modifying one operator between adjacent optimization steps to minimize the interference on the shared operators; 2) MAGIC-A: forcing the inputs and outputs of the operator across all child models to be similar to reduce the interference. Experiments on a BERT search space verify that mitigating interference via each of our proposed methods improves the rank correlation of super-pet and combining both methods can achieve better results. Our discovered architecture outperforms RoBERTa$_{ m base}$ by 1.1 and 0.6 points and ELECTRA$_{ m base}$ by 1.6 and 1.1 points on the dev and test set of GLUE benchmark. Extensive results on the BERT compression, reading comprehension and ImageNet task demonstrate the effectiveness and generality of our proposed methods.

研究动机与目标

• 探究权重共享NAS中干扰的根本原因，即共享算子从不同子模型接收冲突梯度更新的问题。
• 量化架构差异和输入/输出变化对共享算子上干扰的影响程度。
• 提出一种通过控制连续子模型样本之间拓扑变化来减少干扰的方法。
• 设计一种机制，通过将所有子模型中共享算子的输入和输出与锚模型对齐，以减少梯度冲突。
• 在BERT预训练、模型压缩和ImageNet分类任务上验证所提方法的有效性。

提出的方法

• MAGIC-T在相邻训练步骤之间仅逐步修改一个算子，以最小化拓扑变化，从而减少对共享权重的干扰。
• MAGIC-A选择一个高性能模型作为锚点，并将所有子模型中共享算子的输入和输出对齐至锚点的激活值。
• 该方法利用梯度相似性分析量化干扰，表明当子模型之间差异算子数量增加时，干扰也随之增强。
• 该方法基于观察：当共享算子在不同子模型中具有相似的输入和输出分布时，干扰会减少。
• 两种方法可结合为MAGIC-AT，进一步降低干扰并提升搜索性能。
• 实验采用混合超网络，包含多头注意力、前馈网络和卷积层，用于BERT和MobileNet-V2的搜索空间。

实验结果

研究问题

• RQ1 在包含多种算子类型的复杂搜索空间中，哪些因素导致了权重共享NAS中的干扰？
• RQ2 连续子模型之间差异算子的数量如何影响共享权重上的干扰？
• RQ3 子模型之间共享算子的输入/输出相似性在多大程度上影响干扰？
• RQ4 在采样步骤之间逐步改变架构是否能减少干扰并提升NAS中的准确率排序？
• RQ5 通过锚模型对齐共享算子的输入和输出，是否能减少干扰并提升搜索性能？

主要发现

• MAGIC-T与MAGIC-A分别提升了超网络中预测准确率与实际准确率之间的等级相关性，两者结合时效果最佳。
• 所提方法发现的BERT架构在GLUE开发集和测试集上分别比RoBERTa高出1.1分和0.6分。
• 该发现的模型在相同基准上也优于ELECTRA 1.6分和1.1分，且参数量更少。
• 在SQuAD v1.1和v2.0阅读理解任务中，该模型的EM得分分别高于RoBERTa 0.6分和0.7分，F1得分分别高出1.7分和2.2分。
• 在ImageNet上，MAGIC-AT在600M FLOPS约束下实现了23.2%的top-1错误率，优于ProxylessNAS和PC-NAS等先前NAS方法。
• 在BERT模型压缩任务中，该方法发现的架构无需额外蒸馏技术即可超越先前方法，展现出强大的泛化能力。