[논문 리뷰] Evaluating the Search Phase of Neural Architecture Search

Kaicheng Yu, Christian Sciuto외 3명|arXiv (Cornell University)|2019. 02. 21.

Advanced Neural Network Applications참고 문헌 45인용 수 166

한 줄 요약

이 논문은 같은 검색 공간에서 무작위 아키텍처 탐색과 비교하여 NAS 검색 전략을 평가하고, 최첨단 NAS 방법들이 무작위 탐색에 크게 비해 뛰어나지 않으며 가중치 공유가 랭킹 정확도를 저하시킨다는 것을 밝힙니다.

ABSTRACT

Neural Architecture Search (NAS) aims to facilitate the design of deep networks for new tasks. Existing techniques rely on two stages: searching over the architecture space and validating the best architecture. NAS algorithms are currently compared solely based on their results on the downstream task. While intuitive, this fails to explicitly evaluate the effectiveness of their search strategies. In this paper, we propose to evaluate the NAS search phase. To this end, we compare the quality of the solutions obtained by NAS search policies with that of random architecture selection. We find that: (i) On average, the state-of-the-art NAS algorithms perform similarly to the random policy; (ii) the widely-used weight sharing strategy degrades the ranking of the NAS candidates to the point of not reflecting their true performance, thus reducing the effectiveness of the search process. We believe that our evaluation framework will be key to designing NAS strategies that consistently discover architectures superior to random ones.

연구 동기 및 목표

• 최종 과제 성능만이 아니라 NAS 검색 전략에 대한 명시적 평가를 촉진한다.
• 동일한 검색 공간에서 NAS 검색 정책(DARTS, NAO, ENAS)과 무작위 탐색을 비교한다.
• 검색 효과에 영향을 주는 요인을 식별한다; 특히 가중치 공유와 검색 공간 제약.
• 강력한 NAS 검색 분석을 돕는 평가 프레임워크와 공개 가능한 코드를 제공한다.

제안 방법

• NAS 방법과 동일한 검색 공간에서 아키텍처를 균일하게 샘플링하는 공정한 무작위 탐색 기준선을 정의한다.
• 무작위 시드를 여러 개 사용해 탐색을 반복하여 무작위성을 줄이고 평균 성능을 비교한다.
• 해 exhaustive 평가를 위한 실제 아키텍처 성능을 얻기 위해 축소된 검색 공간(RNN n=2 노드 및 NASBench-101 CNN 공간)을 사용한다.
• 가중치 공유의 영향을 정량화하기 위해 NAS 예측 아키텍처와 실제 성능 간 랭킹 일치도(Kendall Tau)를 측정한다.
• 공정한 비교를 보장하기 위해 샘플링된 모든 아키텍처를 동일한 하이퍼파라미터와 에포크 예산으로 학습시킨다.

실험 결과

연구 질문

• RQ1 동일한 검색 공간에서 최첨단 NAS 알고리즘(DARTS, NAO, ENAS)이 무작위 탐색을 능가하는가?
• RQ2 검색 중 NAS 랭킹과 실제 성능 간의 상관관계에 가중치 공유가 어떤 영향을 미치는가?
• RQ3 검색 공간을 제한하거나 완전 탐색하는 것이 NAS 방법과 무작위 탐색의 상대적 성능에 변화를 주는가?
• RQ4 축소된 검색 공간에서 가중치 공유를 제거하는 것이 NAS 성능에 어떤 영향을 주는가?

주요 결과

정책	PTB (PPL)	t-test	CIFAR-10 (acc.)	t-test
ENAS	59.88 ± 1.92	0.73	96.79 ± 0.11	0.01
DARTS	60.61 ± 2.54	0.62	96.62 ± 0.23	0.20
NAO	61.99 ± 1.95	0.02	96.86 ± 0.17	0.00
Random	60.13 ± 0.65	-	96.44 ± 0.19	-

• 표준 검색 공간에서 NAS 방법(DARTS, NAO, ENAS)은 일반적으로 무작위 탐색을 크게 능가하지 않는다.
• RNN 공간에서 무작위 탐색은 종종 가장 좋거나 거의 최상위의 perplexity/정확도를 산출하여 NAS 정책의 효과에 의문을 제기한다.
• 가중치 공유는 아키텍처 순위를 심하게 편향시키고 검색 단계의 신뢰성을 감소시켜 때때로 NAS가 무작위 탐색보다 나을 수 없게 만든다.
• 축소된 검색 공간에서 가중치 공유를 제거하면 NAS 성능이 크게 향상되어 NAO와 ENAS가 무작위 탐색을 더 일관되게 능가한다.
• 축소된 CNN 공간에서 NAS 방법은 무작위 탐색보다 덜 크게 향상하고, 공간 크기가 커질수록 가중치 공유에 의해 랭킹이 크게 영향을 받는다.
• 저자들은 공정하고 시드에 강건한 NAS 검색 전략 평가를 가능하게 하는 프레임워크와 공개 코드를 제공한다.