[논문 리뷰] Differentiable Architecture Search Without Training Nor Labels: A Pruning Perspective.

Miao Zhang, Steven W. Su외 4명|arXiv (Cornell University)|2021. 06. 22.

Advanced Neural Network Applications참고 문헌 50인용 수 4

한 줄 요약

FreeNAS는 신경망 아키텍처 탐색(NAS) 문제를 초기화 시점에서의 프루닝 문제로 재정의함으로써, 레이블 없고 학습 없이도 작동하는 신경망 아키텍처 탐색 프레임워크를 제안한다. 이는 레이블이나 학습 없이도 작동하는 새로운 FreeFlow 프록시를 사용하여 연산의 중요도를 평가하며, NAS-Bench-201 및 DARTS 검색 공간에서 각각 3.6초와 79초 만에 최신 기술 성능을 달성한다.

ABSTRACT

With leveraging the weight-sharing and continuous relaxation to enable gradient-descent to alternately optimize the supernet weights and the architecture parameters through a bi-level optimization paradigm, extit{Differentiable ARchiTecture Search} (DARTS) has become the mainstream method in Neural Architecture Search (NAS) due to its simplicity and efficiency. However, more recent works found that the performance of the searched architecture barely increases with the optimization proceeding in DARTS. In addition, several concurrent works show that the NAS could find more competitive architectures without labels. The above observations reveal that the supervision signal in DARTS may be a poor indicator for architecture optimization, inspiring a foundational question: instead of using the supervision signal to perform bi-level optimization, extit{can we find high-quality architectures extbf{without any training nor labels}}? We provide an affirmative answer by customizing the NAS as a network pruning at initialization problem. By leveraging recent techniques on the network pruning at initialization, we designed a FreeFlow proxy to score the importance of candidate operations in NAS without any training nor labels, and proposed a novel framework called extit{training and label free neural architecture search} ( extbf{FreeNAS}) accordingly. We show that, without any training nor labels, FreeNAS with the proposed FreeFlow proxy can outperform most NAS baselines. More importantly, our framework is extremely efficient, which completes the architecture search within only extbf{3.6s} and extbf{79s} on a single GPU for the NAS-Bench-201 and DARTS search space, respectively. We hope our work inspires more attempts in solving NAS from the perspective of pruning at initialization.

연구 동기 및 목표

• 고품질의 신경망 아키텍처가 레이블이나 학습 없이도 탐색될 수 있는지 조사하는 것.
• DARTS에서 최적화 과정 중 성능 향상이 정체되는 문제인 낮은 감독 신호 문제를 해결하는 것.
• 신경망 아키텍처 탐색을 초기화 시점에서의 네트워크 프루닝 문제로 재정의하는 것.
• 모델 학습이나 레이블이 필요 없이 연산의 중요도를 평가할 수 있는 프록시 메트릭을 개발하는 것.
• 최소한의 계산 비용으로 효율적인 아키텍처 탐색을 달성하여 경쟁 가능한 아키텍처를 신속하게 발견하는 것.

제안 방법

• 스упernet을 밀도 있는 아키텍처로 간주하고, 초기화 시점에서의 프루닝 문제로 아키텍처 탐색을 재정의한다.
• 초기화 시점의 가중치 크기와 기울기 흐름을 바탕으로, 학습이나 레이블 없이 후보 연산의 중요도를 평가하는 새로운 프록시 메트릭인 FreeFlow를 도입한다.
• FreeFlow 점수를 기반으로 중요도가 낮은 연산을 반복적으로 제거하고 최종 아키텍처를 선택한다.
• 학습을 위한 것이 아니라 FreeFlow 프록시를 활용해 프루닝 결정을 이끄는 양단 최적화 프레임워크를 적용한다.
• 로또 티켓 및 초기화 시점에서의 프루닝 기법을 활용하여, 초기화 및 연산 점수 평가를 효율적으로 수행한다.
• 백프로파게이션 없이도, FreeFlow 점수 기반으로 각 레이어의 상위-k 개의 연산을 선택하여 아키텍처를 최적화한다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처 탐색에서 레이블이나 학습 없이도 고성능 아키텍처를 탐색할 수 있는가?
• RQ2 DARTS에서의 감독 신호가 아키텍처 최적화에 신뢰할 수 있는 지표인가, 아니면 근본적으로 결함이 있는가?
• RQ3 초기화 시점에서의 네트워크 프루닝 원칙을 아키텍처 탐색에 효과적으로 재활용할 수 있는가?
• RQ4 초기화 시점에 계산된 프록시 메트릭인 FreeFlow가 레이블 없이도 아키텍처 탐색을 이끄는 데 충분한 신호를 제공하는가?
• RQ5 학습 없고 레이블 없이도 NAS 프레임워크가 극적으로 단축된 탐색 시간으로 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• FreeNAS는 레이블이나 학습 없이도 NAS-Bench-201 및 DARTS 검색 공간에서 최신 기술 성능을 달성한다.
• 단일 GPU를 사용하여 NAS-Bench-201에서는 3.6초, DARTS 검색 공간에서는 79초 만에 아키텍처 탐색을 완료한다.
• FreeNAS는 레이블 감독과 광범위한 학습에 의존하는 대부분의 기존 NAS 베이스라인을 능가한다.
• 초기화 시점에 계산된 FreeFlow 프록시는 백프로파게이션이나 학습 없이도 강력하고 신뢰할 수 있는 신호를 제공하여 아키텍처 선택에 기여한다.
• 결과적으로 아키텍처 탐색을 학습에서 효과적으로 분리할 수 있음을 보여주며, 학습에서 유도되는 감독 신호가 NAS에 필수적이라는 가정을 도전한다.