[논문 리뷰] Powering One-shot Topological NAS with Stabilized Share-parameter Proxy

Ronghao Guo, Lin Chen외 5명|arXiv (Cornell University)|2020. 05. 21.

Advanced Neural Network Applications참고 문헌 48인용 수 7

한 줄 요약

이 논문은 3.4×10¹⁰개 이상의 아키텍처를 포함하는 대규모이고 토폴로지가 확장된 검색 공간에서 효율적인 검색을 가능하게 하는 one-shot NAS 방법인 Stabilized Topological Neural Architecture Search (ST-NAS)를 제안한다. 공유 파라미터 추정을 안정화하기 위해 Stochastic Gradient Langevin Dynamics (SGLD)를 사용함으로써, ST-NAS는 유사한 계산 제약 조건 하에서 기존 one-shot 및 샘플 기반 NAS 방법을 능가하는 최신 기술 수준의 정확도를 달성한다. ImageNet에서 ST-NAS-A는 326M MAdds로 76.4%의 top-1 정확도를 기록하고, ST-NAS-B는 503M MAdds로 77.9%의 정확도를 달성한다.

ABSTRACT

One-shot NAS method has attracted much interest from the research community due to its remarkable training efficiency and capacity to discover high performance models. However, the search spaces of previous one-shot based works usually relied on hand-craft design and were short for flexibility on the network topology. In this work, we try to enhance the one-shot NAS by exploring high-performing network architectures in our large-scale Topology Augmented Search Space (i.e., over 3.4*10^10 different topological structures). Specifically, the difficulties for architecture searching in such a complex space has been eliminated by the proposed stabilized share-parameter proxy, which employs Stochastic Gradient Langevin Dynamics to enable fast shared parameter sampling, so as to achieve stabilized measurement of architecture performance even in search space with complex topological structures. The proposed method, namely Stablized Topological Neural Architecture Search (ST-NAS), achieves state-of-the-art performance under Multiply-Adds (MAdds) constraint on ImageNet. Our lite model ST-NAS-A achieves 76.4% top-1 accuracy with only 326M MAdds. Our moderate model ST-NAS-B achieves 77.9% top-1 accuracy just required 503M MAdds. Both of our models offer superior performances in comparison to other concurrent works on one-shot NAS.

연구 동기 및 목표

• 기존 one-shot NAS에서의 수작업으로 구성된 고정된 검색 공간이 네트워크 토폴로지 다양성을 제한하는 한계를 극복하기 위해.
• 3.4×10¹⁰개 이상의 고유한 토폴로지적 구조를 포함하는 대규모이고 토폴로지가 확장된 검색 공간에서 효과적인 아키텍처 검색을 가능하게 하기 위해.
• 공유 파라미터 추정의 분산을 줄여 가중치 공유 하에 아키텍처의 성능 순위를 안정화하기 위해.
• 일반적인 one-shot NAS 프레임워크를 사용하여 엄격한 Multiply-Adds (MAdds) 제약 조건 하에서 ImageNet에서 최신 기술 수준의 정확도를 달성하기 위해.

제안 방법

• 노드 간의 계산 모듈로 정의된 엣지들을 포함하는 토폴로지가 확장된 검색 공간을 제안하여, 복잡하고 비체인 형태의 네트워크 토폴로지 탐색을 가능하게 한다.
• 하이퍼넷 동안 아키텍처를 샘플링하기 위한 토폴로지 기반 아키텍처 샘플러를 도입한다.
• 공유 파라미터를 효율적으로 샘플링하고 아키텍처 성능의 기대값을 추정하기 위해 Stochastic Gradient Langevin Dynamics (SGLD)를 활용한다.
• 여러 개의 SGLD 샘플에서 공유 파라미터의 기대값을 사용하여 성능 평가를 안정화하고 순위 분산을 감소시킨다.
• 성능 기대값을 계산하기 위해 다중 에포크 평가 전략을 적용하여 아키텍처 순위의 신뢰성을 향상시킨다.
• 모든 후보 아키텍처에 걸쳐 공유된 가중치를 가진 하이퍼넷을 설계하여, 가중치 공유를 통한 빠른 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존의 고정된 검색 공간에 비해 대규모이고 토폴로지 다양성이 높은 검색 공간이 one-shot NAS의 성능을 크게 향상시킬 수 있는가?
• RQ2 복잡한 토폴로지 검색 공간에서 공유 파라미터 추정의 성능 분산을 어떻게 줄일 수 있는가? 이는 신뢰할 수 있는 아키텍처 순위를 확보하기 위함이다.
• RQ3 SGLD를 통해 공유 파라미터 추정을 안정화하면 one-shot NAS에서 아키텍처 성능 예측의 정확성과 일관성이 향상되는가?
• RQ4 안정화된 프록시를 갖춘 one-shot NAS는 엄격한 MAdds 제약 조건 하에서 ImageNet에서 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ5 검색된 아키텍처는 COCO 객체 검출과 같은 후행 작업으로 얼마나 잘 전이되는가?

주요 결과

• ST-NAS-A는 326M MAdds로 ImageNet에서 76.4%의 top-1 정확도를 기록하여, 동일한 계산 제약 조건 하에서 모든 이전 one-shot NAS 방법을 능가한다.
• ST-NAS-B는 503M MAdds로 77.9%의 top-1 정확도를 달성하여, 샘플 기반 NAS 및 수작업 설계된 모델인 ResNet50를 초월하지만, 그 FLOPs의 1/4만을 사용한다.
• SGLD 기반 안정화 방법은 단일 체크포인트(0.71) 및 피니팅(0.64) 기반 베이스라인에 비해 순위 일관성에서 훨씬 뛰어난 Kendall’s tau 값 0.84를 기록한다.
• COCO 객체 검출에서 ST-NAS-A는 동일한 MAdds(0.33G)를 사용하여 33.2 AP를 기록하며, MobileNetV2를 1.5%포인트 뛰어넘는 성능을 달성한다.
• 스케일된 검색 아키텍처인 ST-NAS-B*는 COCO에서 37.7 AP를 기록하여 ResNet50(36.9 AP)을 초월하지만, MAdds의 25%만을 사용한다.
• 제거 분석 결과, SGLD 기반 파라미터 기대값이 분산을 감소시키고 순위 신뢰도를 향상시켜 핵심 안정화 메커니즘의 타당성을 입증한다.