[论文解读] Are Labels Necessary for Neural Architecture Search?

Chenxi Liu, Piotr Dollár+4 more|arXiv (Cornell University)|Mar 26, 2020

Machine Learning and Data Classification参考文献 33被引用 5

一句话总结

本文研究了标签在神经架构搜索（NAS）中是否必不可少，提出了一种仅使用图像而非标签的无监督神经架构搜索（UnNAS）方法，以发现高性能架构。实验表明，基于无监督目标的架构排名与性能，与监督方法高度相关，且UnNAS优化的模型在ImageNet和Cityscapes上的准确率与监督NAS基线相比具有竞争力或更优表现。

ABSTRACT

Existing neural network architectures in computer vision -- whether designed by humans or by machines -- were typically found using both images and their associated labels. In this paper, we ask the question: can we find high-quality neural architectures using only images, but no human-annotated labels? To answer this question, we first define a new setup called Unsupervised Neural Architecture Search (UnNAS). We then conduct two sets of experiments. In sample-based experiments, we train a large number (500) of diverse architectures with either supervised or unsupervised objectives, and find that the architecture rankings produced with and without labels are highly correlated. In search-based experiments, we run a well-established NAS algorithm (DARTS) using various unsupervised objectives, and report that the architectures searched without labels can be competitive to their counterparts searched with labels. Together, these results reveal the potentially surprising finding that labels are not necessary, and the image statistics alone may be sufficient to identify good neural architectures.

研究动机与目标

• 探究人工标注标签是否对有效神经架构搜索是必要的。
• 探索仅使用图像数据（无标签）发现高质量神经架构的可行性。
• 评估无监督或自监督的预训练任务是否可作为架构搜索的有效代理目标。
• 评估无标签发现的架构在多样化下游任务和数据集上的可迁移性与鲁棒性。

提出的方法

• 提出无监督神经架构搜索（UnNAS），一种新设置，在架构搜索过程中用自监督预训练任务替代监督目标。
• 采用三种自监督学习方法——拼图（Jigsaw）、旋转（Rotation）和SimCLR——作为无监督目标，用于训练和评估架构。
• 通过基于样本的实验，对500个随机采样的架构分别使用监督和无监督目标进行训练，并比较其排名相关性。
• 通过基于搜索的实验，将DARTS中的监督损失替换为无监督目标，并在ImageNet和Cityscapes上评估所得架构。
• 使用斯皮尔曼等级相关系数（Spearman’s rho）衡量监督与无监督架构排名之间的一致性。
• 在标准基准上评估最终架构：ImageNet的top-1准确率和Cityscapes语义分割的mIoU。

实验结果

研究问题

• RQ1 能否仅使用图像而无需任何人工标注标签来发现高质量神经架构？
• RQ2 由监督和无监督训练目标产生的架构排名有多高的相关性？
• RQ3 使用无监督目标搜索得到的架构在ImageNet分类和Cityscapes分割等下游任务上是否具有竞争力？
• RQ4 UnNAS优化的架构性能是否与或优于传统监督NAS发现的架构？
• RQ5 搜索数据集的分布（如ImageNet与COCO）是否影响无监督搜索架构的可迁移性？

主要发现

• 在多个数据集、搜索空间和预训练任务下，监督与无监督目标产生的架构排名表现出高度的斯皮尔曼等级相关性（ρ ≈ 0.8）。
• UnNAS优化的DARTS架构在ImageNet上达到76.1%的top-1准确率，优于监督DARTS基线，并超过同一搜索空间下此前最佳结果75.8%。
• 在Cityscapes语义分割任务中，最佳UnNAS变体（Cityscapes Jigsaw）达到74.1%的mIoU，比监督DARTS基线高出1.5%。
• 在某些情况下，无标签发现的架构优于其监督对应版本，表明标签并非发现优质架构的严格必要条件。
• UnNAS在不同下游任务（分类、分割）和搜索数据集（CIFAR-10、ImageNet、COCO）上均表现稳健，表明所发现架构具有强大的泛化能力。
• 结果表明，仅图像统计信息可能已包含足够的归纳偏置以引导有效的架构搜索，从而挑战了标签为必需的假设。