[論文レビュー] Semi-Supervised Neural Architecture Search

Renqian Luo, Xu Tan+4 more|arXiv (Cornell University)|Feb 24, 2020

Advanced Neural Network Applications参考文献 45被引用数 43

ひとこと要約

SemiNAS は、少量のアーキテクチャ-精度ペアと大量のラベルなしアーキテクチャのセットで訓練された半教師付き精度予測器を用い、NASを導くことでコストを削減し、NASBench-101、ImageNet、TTSタスクで精度を向上させる。

ABSTRACT

Neural architecture search (NAS) relies on a good controller to generate better architectures or predict the accuracy of given architectures. However, training the controller requires both abundant and high-quality pairs of architectures and their accuracy, while it is costly to evaluate an architecture and obtain its accuracy. In this paper, we propose SemiNAS, a semi-supervised NAS approach that leverages numerous unlabeled architectures (without evaluation and thus nearly no cost). Specifically, SemiNAS 1) trains an initial accuracy predictor with a small set of architecture-accuracy data pairs; 2) uses the trained accuracy predictor to predict the accuracy of large amount of architectures (without evaluation); and 3) adds the generated data pairs to the original data to further improve the predictor. The trained accuracy predictor can be applied to various NAS algorithms by predicting the accuracy of candidate architectures for them. SemiNAS has two advantages: 1) It reduces the computational cost under the same accuracy guarantee. On NASBench-101 benchmark dataset, it achieves comparable accuracy with gradient-based method while using only 1/7 architecture-accuracy pairs. 2) It achieves higher accuracy under the same computational cost. It achieves 94.02% test accuracy on NASBench-101, outperforming all the baselines when using the same number of architectures. On ImageNet, it achieves 23.5% top-1 error rate (under 600M FLOPS constraint) using 4 GPU-days for search. We further apply it to LJSpeech text to speech task and it achieves 97% intelligibility rate in the low-resource setting and 15% test error rate in the robustness setting, with 9%, 7% improvements over the baseline respectively.

研究の動機と目的

• NAS のアーキテクチャ評価コストの高さを抑える動機づけ。
• ラベルなしアーキテクチャを活用する半教師付きフレームワークの開発。
• 半教師付き予測器が低コストで同等またはそれ以上の精度で NAS を導くことを示す。

提案手法

• 小さなラベル付きアーキテクチャ-精度ペアの集合でエンコーダ-予測器-デコーダ精度予測器を訓練する。
• 予測器を用いて大量のラベルなしアーキテクチャに擬似ラベルを割り当てる。
• 真のデータと擬似ラベル付きデータの両方で予測器とオートエンコーダを結合して訓練する。
• 予測器の埋め込み空間で勾配上昇によって新しいアーキテクチャを反復的に生成し、サブセットのみを評価する。
• NAO フレームワーク内でこのアプローチを適用し、従来のNASおよびワンショットNASとの互換性を示す。
• ランダム探索、正則化進化、標準の NAO などのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしのアーキテクチャを半教師付き予測器を介して NAS の訓練データを効果的に補強できるか。
• RQ2 SemiNAS は従来の NAS およびワンショット NAS に比べて計算コストを削減しつつ精度を維持または向上させるか。
• RQ3 半教師付き予測器は NASBench-101、ImageNet、TTS タスクでどの程度一般化するか。

主な発見

方法	#Queries	Test Acc. (%)	SD (%)	Test Regret (%)	Ranking
Random Search	2000	93.64	0.25	0.68	1749
RE [20]	2000	93.96	0.05	0.36	89
SemiNAS (RE)	1000	93.97	0.05	0.35	76
SemiNAS (RE)	2000	94.03	0.05	0.29	37
NAO [17]	300	93.69	0.06	0.63	1191
NAO [17]	2000	93.90	0.03	0.42	169
SemiNAS	300	93.89	0.06	0.43	197
SemiNAS	2000	94.02	0.05	0.30	43

• NASBench-101 では、SemiNAS は 2000 クエリでテスト精度 94.02% を達成し、同コストで全ベースラインを上回る。
• 300 クエリで SemiNAS は 93.89% のテスト精度に達し、2000 クエリを用いた NAO と競合する。
• NASBench-101 で 1000 のラベル付きと 10000 のラベルなしアーキテクチャを用いた SemiNAS は、テスト精度でベースラインを上回り、後悔を減少させる。
• ImageNet を 600M FLOPS の制約下で評価した場合、SemiNAS は 23.5% のトップ-1 エラーを達成し、NAO および ProxylessNAS のベースラインを上回る。
• TTS の LJSpeech において、SemiNAS は 97% の intelligibility（低リソース）と 15% の sentence error rate（頑健性）を達成し、Transformer TTS および NAO より改善。
• SemiNAS は競合する TTS モデルより Diagonal Focus Rate (DFR) と MOS が高く、注意の整合性と知覚品質が向上していることを示す。