[论文解读] A Semi-Supervised Assessor of Neural Architectures

Yehui Tang, Yunhe Wang+7 more|arXiv (Cornell University)|May 14, 2020

Anomaly Detection Techniques and Applications参考文献 46被引用 11

一句话总结

本文提出了一种半监督评估器，通过利用已标记和未标记的神经架构来提升神经架构搜索（NAS）中的性能预测。通过使用自编码器学习有意义的架构表征，并在包含已标记和未标记架构的图上应用图卷积网络（GCN），该方法减少了对完全训练架构的依赖——在 NAS-Bench-101 上仅使用 1,000 个已标记架构即实现了 94.01% 的 top-1 准确率。

ABSTRACT

Neural architecture search (NAS) aims to automatically design deep neural networks of satisfactory performance. Wherein, architecture performance predictor is critical to efficiently value an intermediate neural architecture. But for the training of this predictor, a number of neural architectures and their corresponding real performance often have to be collected. In contrast with classical performance predictor optimized in a fully supervised way, this paper suggests a semi-supervised assessor of neural architectures. We employ an auto-encoder to discover meaningful representations of neural architectures. Taking each neural architecture as an individual instance in the search space, we construct a graph to capture their intrinsic similarities, where both labeled and unlabeled architectures are involved. A graph convolutional neural network is introduced to predict the performance of architectures based on the learned representations and their relation modeled by the graph. Extensive experimental results on the NAS-Benchmark-101 dataset demonstrated that our method is able to make a significant reduction on the required fully trained architectures for finding efficient architectures.

研究动机与目标

• 减少在神经架构搜索中对大规模、完全训练的已标记数据集在架构性能预测中的依赖。
• 利用大量未标记神经架构之间的内在相似性，以提升预测器的泛化能力。
• 开发一个端到端可训练的框架，联合学习架构表征并利用已标记和未标记数据预测性能。
• 最小化为识别高性能架构所需执行的昂贵完整训练次数。

提出的方法

• 在完整的架构搜索空间上训练一个自编码器，以学习紧凑且有意义的神经架构表征。
• 构建一个图结构，其中节点代表架构，边基于自编码器嵌入所学习的相似性进行编码，同时包含已标记和未标记的架构。
• 使用图卷积网络（GCN）通过聚合图中邻近架构的表征和关系信息来预测性能。
• 使用联合损失函数对整个系统进行端到端训练：在已标记架构上使用回归损失，在自编码器上使用重构损失。
• 尺度因子 σ 控制图构建中相似性度量的敏感度，λ 平衡重构损失与回归损失。

实验结果

研究问题

• RQ1 在 NAS 搜索空间中，未标记架构能否被有效利用，以在极少已标记数据下提升性能预测？
• RQ2 通过图结构整合架构相似性，与完全监督基线相比，能否显著提升预测器的准确性？
• RQ3 通过自编码器进行表征学习，在多大程度上提升了架构嵌入的质量以用于性能预测？
• RQ4 在预测准确率与计算效率之间，已标记数据与未标记数据的最优权衡是什么？

主要发现

• 该方法在 NAS-Bench-101 上仅使用 1,000 个已标记架构即实现了 94.01% 的 top-1 准确率，处于搜索空间的前 0.01%。
• 当使用 10,000 个已标记架构时，该方法的 Kendall Tau 相关系数达到 0.7814，显著优于完全监督基线（0.7188）。
• 引入重构损失（λ > 0）可提升预测准确率，表明未标记数据有助于表征学习。
• 随着未标记架构数量的增加（最多达 50,000 个），预测性能持续提升，但超过该点后收益开始递减。
• 当仅使用 1,000 个已标记架构时，自编码器使预测准确率提升 23.4%（Ktau 从 0.5302 提升至 0.6541），证明其在表征学习中的有效性。
• 与标准 NAS 相比，该方法将所需完整训练次数减少了 90%以上，显著降低了计算成本。