[논문 리뷰] Single Path One-Shot Neural Architecture Search with Uniform Sampling

Zichao Guo, Xiangyu Zhang외 5명|arXiv (Cornell University)|2019. 03. 31.

Advanced Neural Network Applications참고 문헌 58인용 수 246

한 줄 요약

논문은 균일 경로 샘플링으로 단일 경로 원샷 NAS를 도입하여 확률적 슈퍼넷을 학습시키며, 대규모 탐색 공간과 현실적인 제약을 지원하는 효율적이고 유연한 아키텍처 검색을 가능하게 하여 ImageNet에서 최신 연구 성과를 달성한다.

ABSTRACT

We revisit the one-shot Neural Architecture Search (NAS) paradigm and analyze its advantages over existing NAS approaches. Existing one-shot method, however, is hard to train and not yet effective on large scale datasets like ImageNet. This work propose a Single Path One-Shot model to address the challenge in the training. Our central idea is to construct a simplified supernet, where all architectures are single paths so that weight co-adaption problem is alleviated. Training is performed by uniform path sampling. All architectures (and their weights) are trained fully and equally. Comprehensive experiments verify that our approach is flexible and effective. It is easy to train and fast to search. It effortlessly supports complex search spaces (e.g., building blocks, channel, mixed-precision quantization) and different search constraints (e.g., FLOPs, latency). It is thus convenient to use for various needs. It achieves start-of-the-art performance on the large dataset ImageNet.

연구 동기 및 목표

• 학습 불안정성과 가중치 결합 문제를 다뤄 원샷 NAS 패러다임에 대한 관심을 재점화한다.
• 아키텍처 검색과 가중치 최적화를 분리하기 위해 균일 경로 샘플링을 갖춘 단일 경로 슈퍼넷을 제안한다.
• 채널 수, 혼합 정밀도 양자화 등 복잡한 설계 선택과 현실 세계 제약(FLOPs, 지연)을 지원하는 유연한 검색 프레임워크를 입증한다.
• 정확도, 메모리, 검색 효율성 측면에서 ImageNet에서 최신 성능을 보여준다.

제안 방법

• 가중치 공동적응을 줄이기 위해 각 아키텍처가 하나의 경로에 대응하도록 단일 경로 슈퍼넷을 형식화한다.
• 모든 아키텍처가 완전하고 동일하게 학습되도록 균일 경로 샘플링 전략으로 슈퍼넷을 학습한다.
• 강제 지연/FLOPs 제약 하에 아키텍처 검색을 위해 진화 알고리즘을 사용한다.
• 채널 수 검색과 혼합 정밀도 양자화 검색을 위한 새로운 선택 블록을 도입한다.
• 균일 경로 샘플링과 경로 드롭아웃을 비교하고 우수한 안정성과 성능을 입증한다.

Figure 1: Comparison of single path strategy and drop path strategy

실험 결과

연구 질문

• RQ1 단일 경로, 균일하게 샘플된 슈퍼넷이 미세 조정 없이도 아키텍처 성능을 효과적으로 예측할 수 있는가?
• RQ2 균일 샘플링이 원샷 NAS에서 경로 드롭아웃과 비교하여 가중치 결합 및 학습 불안정을 완화하는가?
• RQ3 이 접근법이 대규모 데이터셋에서 복잡한 탐색 공간(채널, 양자화)과 현실 세계 제약(지연, FLOPs)을 얼마나 잘 처리하는가?
• RQ4 큰 공간에서 아키텍처를 선택하는 데 진화적 검색이 무작위 검색보다 더 효과적인가?
• RQ5 ImageNet에서 기존 NAS 방법과 비교한 이 방법의 비교적 효율성과 메모리 사용량은 어느 정도인가?

주요 결과

• 균일 경로 샘플링으로 학습된 단일 경로 슈퍼넷은 학습이 쉽고 탐색이 빠르다.
• 이 방법은 채널 수 및 혼합 정밀도 양자화를 포함한 풍부한 탐색 공간을 지원한다.
• 제약 하에서 성능이 높은 아키텍처를 찾는 데 진화적 아키텍처 검색이 무작위 검색보다 우수하다.
• ImageNet에서 이 방법은 지연/FLOPs 제약을 만족시키면서 강한 정확도를 달성하고 일부 기존 방법보다 학습 중 메모리 사용이 적다.
• 동일하게 학습된 슈퍼넷에서 여러 제약 주도 탐색을 가능하게 하여 유연성과 효율성을 보여준다.

Figure 2: Evolutionary vs. random architecture search