[논문 리뷰] Semi-Supervised Neural Architecture Search

Renqian Luo, Xu Tan외 4명|arXiv (Cornell University)|2020. 02. 24.

Advanced Neural Network Applications참고 문헌 45인용 수 43

한 줄 요약

SemiNAS은 소량의 아키텍처-정확도 쌍과 대량의 라벨이 없는 아키텍처의 큰 세트를 사용해 NAS를 안내하는 반지도 습득 정확도 예측기를 학습시키고 비용을 줄이며 NASBench-101, ImageNet, 및 TTS 작업에서 정확도를 향상시킵니다.

ABSTRACT

Neural architecture search (NAS) relies on a good controller to generate better architectures or predict the accuracy of given architectures. However, training the controller requires both abundant and high-quality pairs of architectures and their accuracy, while it is costly to evaluate an architecture and obtain its accuracy. In this paper, we propose SemiNAS, a semi-supervised NAS approach that leverages numerous unlabeled architectures (without evaluation and thus nearly no cost). Specifically, SemiNAS 1) trains an initial accuracy predictor with a small set of architecture-accuracy data pairs; 2) uses the trained accuracy predictor to predict the accuracy of large amount of architectures (without evaluation); and 3) adds the generated data pairs to the original data to further improve the predictor. The trained accuracy predictor can be applied to various NAS algorithms by predicting the accuracy of candidate architectures for them. SemiNAS has two advantages: 1) It reduces the computational cost under the same accuracy guarantee. On NASBench-101 benchmark dataset, it achieves comparable accuracy with gradient-based method while using only 1/7 architecture-accuracy pairs. 2) It achieves higher accuracy under the same computational cost. It achieves 94.02% test accuracy on NASBench-101, outperforming all the baselines when using the same number of architectures. On ImageNet, it achieves 23.5% top-1 error rate (under 600M FLOPS constraint) using 4 GPU-days for search. We further apply it to LJSpeech text to speech task and it achieves 97% intelligibility rate in the low-resource setting and 15% test error rate in the robustness setting, with 9%, 7% improvements over the baseline respectively.

연구 동기 및 목표

• NAS에서 아키텍처를 평가하는 높은 비용을 줄이려는 동기.
• 라벨이 없는 아키텍처를 활용하기 위한 반지도 프레임워크를 개발.
• 반지도 예측기가 더 낮은 비용으로 동등하거나 더 나은 정확도를 갖고 NAS를 안내할 수 있음을 보여줌.

제안 방법

• 소수의 라벨링된 아키텍처-정확도 쌍으로 인코더-예측기-디코더 정확도 예측기를 학습합니다.
• 예측기를 사용해 라벨이 없는 대규모 아키텍처 풀에 대해 가짜 라벨을 할당합니다.
• 참/거짓 라벨 데이터로 예측기와 오토인코더를 함께 학습합니다.
• 예측기의 임베딩 공간에서 경사 상승법으로 새로운 아키텍처를 반복적으로 생성하고 일부만 평가합니다.
• NAO 프레임워크 내에서 이 접근법을 적용하고 전통적 및 원샷 NAS와의 호환성을 보여줍니다.
• 임의 탐색, 규제된 진화, 표준 NAO와 같은 베이스라인과 비교합니다.

실험 결과

연구 질문

• RQ1 라벨이 없는 아키텍처를 활용해 반지도 예측기를 통해 NAS 학습 데이터를 효과적으로 보강할 수 있는가?
• RQ2 SemiNAS가 전통적 및 원샷 NAS에 비해 계산 비용을 줄이면서 정확도를 유지하거나 향상시키는가?
• RQ3 반지도 예측기가 NASBench-101, ImageNet, 및 TTS 작업 전반에 걸쳐 얼마나 잘 일반화되는가?

주요 결과

방법	#쿼리	테스트 정확도(%)	SD (%)	테스트 미회피(%)	순위
Random Search	2000	93.64	0.25	0.68	1749
RE [20]	2000	93.96	0.05	0.36	89
SemiNAS (RE)	1000	93.97	0.05	0.35	76
SemiNAS (RE)	2000	94.03	0.05	0.29	37
NAO [17]	300	93.69	0.06	0.63	1191
NAO [17]	2000	93.90	0.03	0.42	169
SemiNAS	300	93.89	0.06	0.43	197
SemiNAS	2000	94.02	0.05	0.30	43

• NASBench-101에서 SemiNAS는 2000 쿼리로 테스트 정확도 94.02%를 달성해 같은 비용에서 모든 베이스라인을 능가합니다.
• 300 쿼리로도 SemiNAS는 93.89%의 테스트 정확도에 도달해 2000 쿼스를 사용하는 NAO와 경쟁합니다.
• 라벨이 1000개, unlabeled가 10000개인 NASBench-101 세트에서 SemiNAS가 테스트 정확도에서 베이스라인을 능가하고 후회를 줄입니다.
• 600M FLOPS 제약에서 ImageNet에서 SemiNAS는 23.5%의 top-1 오차를 달성해 NAO 및 ProxylessNAS 베이스라인을 능가합니다.
• LJSpeech의 TTS에서 SemiNAS는 97% 이해도(저자원)와 15% 문장 오류율(강건성)을 달성하며 Transformer TTS 및 NAO 대비 개선을 보입니다.
• SemiNAS는 다른 경쟁 TTS 모델보다 더 높은 Diagonal Focus Rate(DFR)와 MOS를 달성해 주의 정렬 및 인지된 품질이 향상됩니다.