[논문 리뷰] StacNAS: Towards Stable and Consistent Differentiable Neural Architecture Search

Guilin Li, Xing Zhang외 3명|arXiv (Cornell University)|2019. 09. 26.

Advanced Neural Network Applications인용 수 5

한 줄 요약

StacNAS는 연산자 상관관계와 최적화 복잡도 격차 문제를 해결함으로써 미분 가능 신경망 아키텍처 탐색에서 안정성과 일관성을 향상시키는 계층적 탐색 알고리즘을 제안한다. 유사한 연산자를 군집화하고 프oxy 및 최종 학습 복잡도를 일치시킴으로써 StacNAS는 CIFAR-10, CIFAR-100 및 ImageNet의 다섯 가지 셀 기반 탐색 공간에서 최신 기술 성능을 달성한다.

ABSTRACT

Recently, the efficiency of automatic neural architecture design has been significantly improved by gradient-based search methods such as DARTS. However, recent literature has brought doubt to the generalization ability of DARTS, arguing that DARTS performs poorly when the search space is changed, i.e, when different set of candidate operators are used. Regularization techniques such as early stopping have been proposed to partially solve this problem. In this paper, we tackle this problem from a different perspective by identifying two contributing factors to the collapse of DARTS when the search space changes: (1) the correlation of similar operators incurs unfavorable competition among them and makes their relative importance score unreliable and (2) the optimization complexity gap between the proxy search stage and the final training. Based on these findings, we propose a new hierarchical search algorithm. With its operator clustering and optimization complexity match, the algorithm can consistently find high-performance architecture across various search spaces. For all the five variants of the popular cell-based search spaces, the proposed algorithm always obtains state-of-the-art architecture with best accuracy on the CIFAR-10, CIFAR-100 and ImageNet over other well-established DARTS-alike algorithms. Code is available at this https URL.

연구 동기 및 목표

• 탐색 공간 구성이 변화할 때 DARTS의 불안정성과 낮은 일반화 성능을 해결한다.
• 상관관계가 있는 연산자가 중요도 점수의 신뢰성에 악영향을 미치고 아키텍처 탐색을 방해함을 규명한다.
• 프록시 탐색 단계와 최종 학습 단계 간의 최적화 복잡도 격차를 완화한다.
• 다양한 탐색 공간에서 높은 성능을 내는 아키텍처를 일관되게 찾는 방법을 개발한다.
• 히우리스틱 정규화 기법에 의존하지 않고 표준 벤치마크에서 최신 기술 성능을 달성한다.

제안 방법

• 유사한 연산자를 군집화하여 탐색 중 유해한 경쟁을 줄인다.
• 군집화된 연산자를 탐색 과정에서 원자 단위로 취급하는 계층적 탐색 공간을 설계한다.
• 프록시 작업의 최적화 복잡도를 최종 학습과 일치시키기 위해 층 수와 채널 수를 조정한다.
• 학습 가능한 아키텍처 파rameter를 갖는 미분 가능 탐색 프레임워크를 사용하지만, 안정성을 향상시키기 위해 탐색 공간 구조를 수정한다.
• 최종 모델의 깊이와 너비를 일치시켜 프록시 데이터셋으로 아키텍처를 학습함으로써 분포 이탈을 줄인다.
• 재파arameter화된 연산을 사용해 기울기 기반 탐색을 수행함으로써 아키텍처의 엔드 투 엔드 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 왜 DARTS는 탐색 공간이 변경될 경우, 특히 다른 후보 연산자가 포함될 경우 일반화에 실패하는가?
• RQ2 연산자 상관관계는 미분 가능 NAS에서 아키텍처 중요도 점수의 신뢰성에 어떤 영향을 미치는가?
• RQ3 프록시 탐색과 최종 학습 단계 간의 최적화 복잡도 격차가 탐색 성능에 얼마나 큰 영향을 미치는가?
• RQ4 계층적 연산자 군집화가 다양한 탐색 공간에서 미분 가능 NAS의 안정성과 일관성을 향상시키는가?
• RQ5 프록시와 최종 학습 간의 최적화 복잡도를 일치시키면 일반화 성능 향상과 더 높은 정확도를 달성할 수 있는가?

주요 결과

• StacNAS는 모든 다섯 가지 셀 기반 탐색 공간 변형에서 CIFAR-10, CIFAR-100 및 ImageNet에서 일관되게 최신 기술 성능을 달성한다.
• 제안된 방법은 모든 벤치마크에서 잘 알려진 DARTS 유사 알고리즘보다 뛰어난 일반화 성능을 보이며, 다양한 탐색 공간 구성 조건에서도 뛰어난 성능을 입증한다.
• 연산자 군집화로 인해 상관관계가 있는 연산자의 악영향이 감소하여 보다 신뢰할 수 있는 아키텍처 탐색 동역학을 확보한다.
• 프록시와 최종 학습 간의 최적화 복잡도 일치가 탐색 단계와 평가 단계 간의 일치를 크게 향상시킨다.
• 히우리스틱 기법(예: 조기 정지)에 의존하지 않고도 안정적인 성능을 유지함으로써 내재된 강건성을 입증한다.
• 코드가 공개되어 있어 재현성과 안정적인 미분 가능 NAS 분야의 추가 연구를 가능하게 한다.