[논문 리뷰] ZARTS: On Zero-order Optimization for Neural Architecture Search

Xiaoxing Wang, Wenxuan Guo외 3명|arXiv (Cornell University)|2021. 10. 10.

Advanced Neural Network Applications참고 문헌 23인용 수 5

한 줄 요약

ZARTS는 신경망 아키텍처 탐색(NAS)를 위한 제로계수 최적화 프레임워크를 제안하며, DARTS에서 발생하는 편향된 일阶 근사 문제를 회피하고, MGS와 같은 그래디언트 기반 방법을 사용해 더 안정적이고 정확한 아키텍처 탐색을 실현한다. 이는 CIFAR-10에서 97.54%의 정확도와 ImageNet에서 75.7%의 Top-1 정확도를 달성하여 최신 기술 수준(SOTA)의 성능을 보이며, 안정성과 DARTS 변종과의 호환성을 향상시켜 추가적인 속도 향상을 가능하게 한다.

ABSTRACT

Differentiable architecture search (DARTS) has been a popular one-shot paradigm for NAS due to its high efficiency. It introduces trainable architecture parameters to represent the importance of candidate operations and proposes first/second-order approximation to estimate their gradients, making it possible to solve NAS by gradient descent algorithm. However, our in-depth empirical results show that the approximation will often distort the loss landscape, leading to the biased objective to optimize and in turn inaccurate gradient estimation for architecture parameters. This work turns to zero-order optimization and proposes a novel NAS scheme, called ZARTS, to search without enforcing the above approximation. Specifically, three representative zero-order optimization methods are introduced: RS, MGS, and GLD, among which MGS performs best by balancing the accuracy and speed. Moreover, we explore the connections between RS/MGS and gradient descent algorithm and show that our ZARTS can be seen as a robust gradient-free counterpart to DARTS. Extensive experiments on multiple datasets and search spaces show the remarkable performance of our method. In particular, results on 12 benchmarks verify the outstanding robustness of ZARTS, where the performance of DARTS collapses due to its known instability issue. Also, we search on the search space of DARTS to compare with peer methods, and our discovered architecture achieves 97.54% accuracy on CIFAR-10 and 75.7% top-1 accuracy on ImageNet, which are state-of-the-art performance.

연구 동기 및 목표

• DARTS에서 최적의 네트워크 가중치에 대한 일계수 근사로 인해 발생하는 불안정성과 편향된 최적화 문제를 해결하기 위해.
• 아키텍처 파라미터에 대한 그래디언트 계산에 의존하지 않는, 차별성 없는 최적화 기반의 안정적인 NAS 프레임워크를 개발하기 위해.
• 제로계수 최적화 방법이 이중 최적화 문제에서 그래디언트 기반 DARTS에 비해 안정적이고 효과적인 대안이 될 수 있음을 입증하기 위해.
• 제로계수 최적화와 그래디언트 하강법 사이의 관계를 탐색하여, ZARTS가 DARTS의 강력한 대체 방법이 될 수 있음을 보여주기 위해.
• MergeNAS와 GZAS와 같은 기존 DARTS 변종과의 조합을 통해 더 빠르고 정확한 아키텍처 탐색을 가능하게 하기 위해.

제안 방법

• ZARTS는 아키텍처 파라미터에 대한 미분 가능성에 의존하지 않는 제로계수 최적화 방법을 DARTS의 그래디언트 기반 최적화로 대체함으로써, 아키텍처 파라미터에 대한 탐색 손실의 미분 가능성 필요성을 제거한다.
• 세 가지 대표적인 제로계수 방법—랜덤 서치(RS), 미메틱 그래디언트 서치(MGS), 방향성 샘플링을 통한 그래디언트 기반 학습(GLD)—을 평가하였으며, MGS가 정확도와 속도의 최적 균형을 보였다.
• 아키텍처 파라미터가 제로계수 그래디언트를 통해 업데이트되는 이중 최적화 문제로 NAS를 공식화함으로써, 일계수 근사로 인한 손실 표면 왜곡을 피한다.
• ZARTS는 기존 DARTS 변종과 호환되도록 설계되어, MergeNAS 및 P-DARTS와 같은 방법과 통합되어 탐색 속도 향상과 성능 향상을 가능하게 한다.
• 제로계수 방법은 기능 평가만으로도 그래디언트를 추정할 수 있으므로, 비미분 가능성 또는 복잡한 탐색 목표에 적합하다는 점을 활용한다.
• 이론적 및 실증적 분석을 통해 MGS와 RS는 그래디언트 하강법의 근사로 해석될 수 있음을 밝혀내었으며, 이는 ZARTS가 DARTS의 강력한 그래디언트 기반 대체 방법이 될 수 있음을 시사한다.

실험 결과

연구 질문

• RQ1 DARTS의 일계수 근사가 손실 표면을 왜곡하고 아키텍처 파라미터의 불안정한 학습을 유도하는가?
• RQ2 제로계수 최적화 방법은 탐색 목표의 미분 가능성에 의존하지 않고도 그래디언트 기반 NAS보다 더 안정적이고 정확한 대안이 될 수 있는가?
• RQ3 MGS, RS, GLD와 같은 제로계수 방법들이 NAS에서 정확도, 속도, 안정성 측면에서 어떻게 비교되는가?
• RQ4 NAS 맥락에서 제로계수 최적화와 그래디언트 하강법 사이의 이론적 및 실증적 연결은 무엇인가?
• RQ5 ZARTS는 기존 DARTS 변종과 효과적으로 조합되어 탐색 속도와 성능을 추가로 향상시킬 수 있는가?

주요 결과

• ZARTS는 CIFAR-10에서 97.54%의 Top-1 정확도를 달성하여 DARTS와 대부분의 변종을 능가한다.
• ImageNet에서는 560만 파라미터 모델로 75.7%의 Top-1 정확도를 기록하여 강력한 안정성과 성능을 입증한다.
• ZARTS의 MGS 변종은 테스트된 세 가지 제로계수 방법 중 정확도와 속도의 최적 균형을 제공한다.
• 12개의 벤치마크에서 ZARTS는 DARTS가 스킵 커넥션 지배성 등의 알려진 불안정성 문제로 실패하는 상황에서도 뛰어난 안정성을 보였다.
• ZARTS와 MergeNAS를 조합한 MergeZARTS는 오직 0.5 GPU-일의 탐색 비용으로 CIFAR-10에서 97.81%의 최신 기술 수준 성능을 달성하였다.
• P-DARTS(P-ZARTS) 및 GZAS(GZAS)와의 통합은 성능 향상과 메모리 사용 감소를 동시에 실현하여, 복잡한 작업에서 효율적인 탐색을 가능하게 하였다.