[논문 리뷰] Geometry-Aware Gradient Algorithms for Neural Architecture Search

Liam Li, Mikhail Khodak외 2명|arXiv (Cornell University)|2020. 04. 16.

Advanced Neural Network Applications참고 문헌 46인용 수 5

한 줄 요약

이 논문은 신경망 아키텍처 탐색(NAS)를 위한 새로운 최적화 프레임워크인 기하학적 인지형 지수화 알고리즘(GAEA)을 제안한다. 이는 아키텍처 파라미터를 연속적인 단체형 제약 조건을 가진 공간 내에서 학습 가능한 변수로 간주하는 방식이다. 미러 강하 이론과 지수화 경사 하강 업데이트를 활용하여, GAEA는 빠른 수렴, 희소성, 그리고 CIFAR-10, CIFAR-100, ImageNet 벤치마크에서 최신 기준 성능을 달성하며, DARTS 및 GDAS와 같은 이전 방법들을 능가한다.

ABSTRACT

Recent state-of-the-art methods for neural architecture search (NAS) exploit gradient-based optimization by relaxing the problem into continuous optimization over architectures and shared-weights, a noisy process that remains poorly understood. We argue for the study of single-level empirical risk minimization to understand NAS with weight-sharing, reducing the design of NAS methods to devising optimizers and regularizers that can quickly obtain high-quality solutions to this problem. Invoking the theory of mirror descent, we present a geometry-aware framework that exploits the underlying structure of this optimization to return sparse architectural parameters, leading to simple yet novel algorithms that enjoy fast convergence guarantees and achieve state-of-the-art accuracy on the latest NAS benchmarks in computer vision. Notably, we exceed the best published results for both CIFAR and ImageNet on both the DARTS search space and NAS-Bench201; on the latter we achieve near-oracle-optimal performance on CIFAR-10 and CIFAR-100. Together, our theory and experiments demonstrate a principled way to co-design optimizers and continuous relaxations of discrete NAS search spaces.

연구 동기 및 목표

• 가중치 공유에 의존하는 기울기 기반 NAS 방법의 이론적 이해 부족과 낮은 일반화 성능 문제를 해결하기 위해.
• 가중치 공유를 갖는 NAS를 아키텍처 파라미터를 학습 가능한 변수로 간주하는 것일 뿐만 아니라 초모수로 간주하지 않는 단일 수준의 경험적 리스크 최소화 문제로 재구성하기 위해.
• 아키텍처 파라미터 공간의 기하학적 구조를 활용하여 NAS의 최적화 성능과 일반화 능력을 향상시키기 위해.
• 미러 강하 이론을 활용하여 기울기 기반 NAS에 대해 유한 시간 수렴 보장을 제공하기 위해.
• 더 높은 효율성과 희소성로 현대 NAS 벤치마크에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 아키텍처 파라미터를 확률 단체형에 위치하도록 재매개변수화하여 구조화된 최적화를 가능하게 한다.
• 단체형 제약 조건 영역에 특화된 지수화 경사 하강 업데이트(미러 강하의 변종)를 사용하여 빠른 수렴과 희소성을 보장한다.
• 아키텍처 결정을 학습 가능한 파라미터로 포함하는 구조화된 함수 클래스 위에서 단일 수준의 경험적 리스크 최소화 문제로 NAS를 재구성한다.
• 블록 스토하스틱 미러 강하를 연속적 리프래스먼트된 NAS 목표 함수에 적용하여, 정류점으로의 다항 시간 수렴을 증명한다.
• 기존의 일阶 NAS 방법인 DARTS 및 GDAS에 GAEA 프레임워크를 최소한의 수정으로 통합한다.
• 이산 아키텍처 탐색 공간의 연속적 리프래스먼트를 사용하여 기울기 기반 최적화를 가능하게 하면서도 아키텍처 공간의 구조적 특성을 유지한다.

실험 결과

연구 질문

• RQ1 가중치 공유를 갖는 NAS는 구조화된 함수 클래스 위에서 단일 수준 최적화 문제로 의미 있게 재구성될 수 있는가?
• RQ2 기하학적 인지형 최적화 방법은 기울기 기반 NAS에서 수렴성과 일반화 능력을 어떻게 향상시킬 수 있는가?
• RQ3 아키텍처 공간의 연속적 리프래스먼트 하에 기울기 기반 NAS에 대해 어떤 이론적 수렴 보장을 설정할 수 있는가?
• RQ4 단체형에서의 지수화 경사 하강 업데이트는 더 희소하고 해석 가능하며 더 높은 성능을 보이는 아키텍처를 이끌 수 있는가?
• RQ5 제안된 프레임워크는 NAS-Bench-201 및 DARTS 탐색 공간과 같은 현대 벤치마크에서 기존 최신 기준 NAS 방법을 능가하는가?

주요 결과

• GAEA는 NAS-Bench-201 벤치마크에서 CIFAR-10에서 94.10% ± 0.29의 새로운 최고 성능을 기록하여 이전 최고 기록보다 0.18% 향상시켰다.
• CIFAR-100에서는 73.43% ± 0.13의 정확도를 기록하여 이전 최고 기록보다 1.59% 향상되었다.
• ImageNet-16-120에서는 46.36% ± 0.00의 정확도를 기록하여 이전 최고 기록을 0.82% 초월했다.
• GAEA DARTS (ERM)는 CIFAR-10에서 94.10% ± 0.29의 성능을 기록하여 이중 수준 DARTS 기준선을 뚜렷이 앞서갔다.
• GAEA는 NAS-Bench-201에서 거의 올리고리즘 최적 성능을 달성하여 CIFAR-100에서 73.43%, ImageNet-16-120에서 46.36%의 성능을 기록했다.
• 이론적 분석을 통해 블록 스토하스틱 미러 강하에 대해 다항 시간 정류점 수렴 보장을 확립하였으며, 이는 기울기 기반 NAS에 대한 첫 유한 시간 수렴 보장이다.