[논문 리뷰] GOLD-NAS: Gradual, One-Level, Differentiable

Kaifeng Bi, Lingxi Xie외 3명|arXiv (Cornell University)|2020. 07. 07.

Advanced Neural Network Applications참고 문헌 41인용 수 29

한 줄 요약

GOLD-NAS는 전통적인 제약 조건을 초월해 검색 공간을 확장하는 점진적, 단일 수준의 미분 가능 신경망 아키텍처 탐색 프레임워크를 제안한다. 이는 자원 제약 조건 하에서 점진적 프루닝을 통해 파레토 최적 아키텍처를 탐색할 수 있도록 한다. CIFAR-10(2.99% 오차, 1.58M 파라미터)과 ImageNet(23.9% top-1 오차)에서 최신 기술 수준의 정확도-효율성 트레이드오프를 달성하며, 검색 비용은 최소한이다.

ABSTRACT

There has been a large literature of neural architecture search, but most existing work made use of heuristic rules that largely constrained the search flexibility. In this paper, we first relax these manually designed constraints and enlarge the search space to contain more than $10^{160}$ candidates. In the new space, most existing differentiable search methods can fail dramatically. We then propose a novel algorithm named Gradual One-Level Differentiable Neural Architecture Search (GOLD-NAS) which introduces a variable resource constraint to one-level optimization so that the weak operators are gradually pruned out from the super-network. In standard image classification benchmarks, GOLD-NAS can find a series of Pareto-optimal architectures within a single search procedure. Most of the discovered architectures were never studied before, yet they achieve a nice tradeoff between recognition accuracy and model complexity. We believe the new space and search algorithm can advance the search of differentiable NAS.

연구 동기 및 목표

• 기존의 미분 가능 NAS 방법에서 히우리스틱 제약 조건이 검색 공간을 제한하고 유연성을 감소시키는 문제를 해결하기 위해.
• 단일 수준 NAS에서 이중 최적화의 불안정성과 높은 계산 비용을 해결하기 위해 점진적 프루닝 기법을 도입하기 위해.
• 단일 검색 절차 내에서 다양한 하드웨어 제약 조건에 걸쳐 파레토 최적 아키텍처를 탐색할 수 있도록 하기 위해.
• 연산자 프루닝에서 급격한 이산화로 인한 최적화 갭을 줄여 검색 신뢰성을 향상시키기 위해.

제안 방법

• 고정된 셀 구조를 제거하여 검색 공간을 10^160개 이상의 후보로 확장함으로써, 각 에지에 대해 가변적인 연산자 수와 각 노드의 가변적인 입력 피드인 수를 허용한다.
• 이중 최적화의 계산 부담을 피하기 위해, 가중치와 아키텍처 파라미터를 동시에 최적화하는 단일 수준의 미분 가능 최적화를 적용한다.
• 시간이 지남에 따라 증가하는 동적 자원 제약 조건(예: FLOPs)을 도입하여, 약한 연산자를 점진적으로 프루닝하는 데 도움이 되는 정규화 역할을 한다.
• 자원 예산에 따라 기여도가 낮은 연산자를 체계적으로 제거하는 점진적 프루닝 전략을 적용하여, 이산화 오차를 최소화한다.
• 학습 전반에 걸쳐 완전한 슈퍼넷을 유지하며, 아키텍처 결정이 미분 가능 최적화 과정에서 자연스럽게 도출되도록 한다.
• 학습 에포크가 진행됨에 따라 변화하는 점진적 정규화 스케줄을 적용하여 안정적인 수렴을 보장하고 갑작스러운 성능 저하를 방지한다.

실험 결과

연구 질문

• RQ1 최소한의 히우리스틱 제약 조건으로 확장된 검색 공간이 더 나은, 더 다양한 신경망 아키텍처를 도출할 수 있는가?
• RQ2 기존 방법이 이산화 오차로 인해 실패하는 초대규모 검색 공간에서 단일 수준의 미분 가능 NAS가 어떻게 안정화될 수 있는가?
• RQ3 자원 제약 조건에 따라 이끌리는 점진적 프루닝 전략이 정확도와 강건성 측면에서 일회성 프루닝보다 뛰어나게 작용할 수 있는가?
• RQ4 단일 검색 절차로 다양한 효율성 제약 조건에 걸쳐 파레토 최적의 아키텍처 프론트를 얼마나 잘 탐색할 수 있는가?
• RQ5 제안된 방법이 다양한 하드웨어와 지연 요구 조건을 가진 실세계 배포 시나리오로 일반화될 수 있는가?

주요 결과

• GOLD-NAS는 단지 0.4 GPU일의 검색 비용으로 CIFAR-10에서 파레토 최적 아키텍처 시리즈를 탐색하여 테스트 오차 2.99% ± 0.05%와 158만 개의 파라미터를 달성한다.
• 모바일 설정 하에서 ImageNet에서는 top-1 오차 23.9%를 기록하여 강력한 정확도-효율성 트레이드오프를 보여준다.
• 이 방법은 이전의 NAS 방법보다 훨씬 큰 10^160개 이상의 아키텍처를 포함하는 검색 공간을 성공적으로 탐색한다.
• 아키텍처 탐색 결과, 후기 단계에서 sep-conv-3x3와 같은 매개변수화된 연산자가 더 많이 사용되는 경향을 보이며, 네트워크 깊이에 따라 자원 할당이 더 민첩하게 이루어지는 것을 나타낸다.
• 일회성 프루닝 대비 점진적 프루닝 기법이 이산화 오차를 크게 줄여 검색 안정성을 향상시킨다.
• 이 프레임워크는 안정적이고 빠르며 쉽게 배포 가능하며, 코드가 공개되어 연구 및 엔지니어링 분야의 광범위한 채택을 지원한다.