[論文レビュー] Are Labels Necessary for Neural Architecture Search?

Chenxi Liu, Piotr Dollár+4 more|arXiv (Cornell University)|Mar 26, 2020

Machine Learning and Data Classification参考文献 33被引用数 5

ひとこと要約

この論文は、ニューラルアーキテクチャサーチ（NAS）においてラベルが必須であるかを調査し、ラベルを一切使用せずに画像のみを用いて高性能なアーキテクチャを発見する、非教師付きニューラルアーキテクチャサーチ（UnNAS）を提案する。実験の結果、非教師付き目的関数によるアーキテクチャのランク付けと教師あり目的関数との間に高い相関関係が認められ、UnNASで最適化されたモデルは、ImageNetおよびCityscapesにおいて教師ありNASベースラインと同等またはそれ以上の精度を達成した。

ABSTRACT

Existing neural network architectures in computer vision -- whether designed by humans or by machines -- were typically found using both images and their associated labels. In this paper, we ask the question: can we find high-quality neural architectures using only images, but no human-annotated labels? To answer this question, we first define a new setup called Unsupervised Neural Architecture Search (UnNAS). We then conduct two sets of experiments. In sample-based experiments, we train a large number (500) of diverse architectures with either supervised or unsupervised objectives, and find that the architecture rankings produced with and without labels are highly correlated. In search-based experiments, we run a well-established NAS algorithm (DARTS) using various unsupervised objectives, and report that the architectures searched without labels can be competitive to their counterparts searched with labels. Together, these results reveal the potentially surprising finding that labels are not necessary, and the image statistics alone may be sufficient to identify good neural architectures.

研究の動機と目的

• 人為的ラベルが効果的なニューラルアーキテクチャサーチに必要かどうかを調査すること。
• ラベルなしで画像データのみを用いて高品質なニューラルアーキテクチャを発見する可能性を検討すること。
• 非教師付きまたは自己教師付きの事前学習タスクが、アーキテクチャサーチの有効な代理指標として機能するかどうかを評価すること。
• ラベルなしで発見されたアーキテクチャの、さまざまな下流タスクおよびデータセットへの転送性と頑健性を評価すること。

提案手法

• 教師あり目的関数を自己教師付き事前学習タスクに置き換えることで、アーキテクチャサーチ中に教師あり目的関数を排除する、非教師付きニューラルアーキテクチャサーチ（UnNAS）を提案する。
• 自己教師学習手法として、Jigsaw、Rotation、SimCLRの3つの手法を用い、アーキテクチャの訓練および評価に非教師付き目的関数を適用する。
• サンプルベースの実験を実施し、500個のランダムに抽出されたアーキテクチャを教師ありおよび非教師付き目的関数で訓練し、そのランク相関を比較する。
• サーチベースの実験を実施し、DARTSにおける教師あり損失を非教師付き目的関数に置き換え、その結果得られたアーキテクチャをImageNetおよびCityscapesで評価する。
• 教師ありと非教師付きアーキテクチャランクの整合性を測るために、スピアマンの順位相関係数（Spearman’s rho）を用いる。
• 最終的なアーキテクチャを標準ベンチマークで評価する：ImageNetのトップ-1精度と、CityscapesにおけるセマンティックセグメンテーションのmIoU。

実験結果

リサーチクエスチョン

• RQ1 人為的ラベルが一切ない状況でも、画像のみを用いて高品質なニューラルアーキテクチャを発見できるか？
• RQ2 教師ありと非教師ありの訓練目的関数によって得られるアーキテクチャランクの相関度はどの程度か？
• RQ3 非教師あり目的関数を用いて探索されたアーキテクチャは、ImageNet分類やCityscapesセグメンテーションといった下流タスクで競争力のある性能を示すか？
• RQ4 UnNASで最適化されたアーキテクチャの性能は、従来の教師ありNASで得られたものと同等またはそれ以上か？
• RQ5 探索用データセットの分布（例：ImageNet対COCO）が、非教師ありで探索されたアーキテクチャの転送性に影響を与えるか？

主な発見

• 複数のデータセット、探索空間、事前学習タスクにおいて、教師ありと非教師ありのアーキテクチャランクの間には高いスピアマン順位相関（ρ ≈ 0.8）が認められた。
• UnNASで最適化されたDARTSアーキテクチャは、ImageNetで76.1％のトップ-1精度を達成し、教師ありDARTSベースラインを上回り、同じ探索空間で達成された過去最高の75.8％をも上回った。
• Cityscapesにおけるセマンティックセグメンテーションでは、最良のUnNASバージョン（Cityscapes Jigsaw）が74.1％のmIoUを達成し、教師ありDARTSベースラインを1.5％上回った。
• 一部のケースでは、ラベルなしで発見されたアーキテクチャが、教師ありの対応するものよりも優れた性能を示した。これは、優れたアーキテクチャを発見するためにはラベルが必須ではないことを示唆している。
• UnNASの性能は、分類やセグメンテーションといったさまざまなターゲットタスクおよび、CIFAR-10、ImageNet、COCOといった異なる探索データセットに対して頑健であった。これは、発見されたアーキテクチャの強い一般化性能を示している。
• 結果から、画像の統計量そのものに、効果的なアーキテクチャサーチを導くのに十分なインダクティブバイアスが埋め込まれている可能性が示唆され、ラベルが必須であるという仮定に疑問を呈している。