[논문 리뷰] MixPath: A Unified Approach for One-shot Neural Architecture Search

Xiangxiang Chu, Lu, Shun외 2명|arXiv (Cornell University)|2020. 01. 16.

Advanced Neural Network Applications참고 문헌 47인용 수 15

한 줄 요약

MixPath는 새로운 Shadow Batch Normalization(SBN) 메커니즘을 사용하여 다중 경로 컨볼루션 아키텍처를 위한 통합형 일회성 신경망 아키텍처 탐색 프레임워크를 제안한다. 이는 슈퍼넷 학습의 안정성을 높이고 모델 순위를 향상시킨다. 경로별 배치 통계를 모델링하고 SBN 개수를 允가된 경로 수 m으로 줄임으로써, 10 GPU 일의 계산 자원으로도 기존에 200배 이상 많은 계산 자원을 사용해 탐색한 모델들을 능가하는 최신의 ImageNet 정확도를 달성한다.

ABSTRACT

Blending multiple convolutional kernels is proved advantageous in neural architecture design. However, current two-stage neural architecture search methods are mainly limited to single-path search spaces. How to efficiently search models of multi-path structures remains a difficult problem. In this paper, we are motivated to train a one-shot multi-path supernet to accurately evaluate the candidate architectures. Specifically, we discover that in the studied search spaces, feature vectors summed from multiple paths are nearly multiples of those from a single path. Such disparity perturbs the supernet training and its ranking ability. Therefore, we propose a novel mechanism called Shadow Batch Normalization (SBN) to regularize the disparate feature statistics. Extensive experiments prove that SBNs are capable of stabilizing the optimization and improving ranking performance. We call our unified multi-path one-shot approach as MixPath, which generates a series of models that achieve state-of-the-art results on ImageNet.

연구 동기 및 목표

• 일회성 다중 경로 슈퍼넷 아키텍처 학습에서의 불안정성과 낮은 순위 성능 문제를 해결하기 위해.
• 다양한 다중 경로 탐색 공간에서 효과적이고 효율적인 신경망 아키텍처 탐색을 가능하게 하기 위해.
• 슈퍼넷 학습 중 동적 경로 조합에 적응할 수 있는 경량이면서 효과적인 정규화 메커니즘을 개발하기 위해.
• 단일 경로와 다중 경로 NAS를 하나의 프레임워크로 통합하여, 단일 경로 방법이 특수한 경우로 포함되도록 하기 위해.

제안 방법

• 각 활성 경로 수에 맞는 별도의 배치 정규화 통계를 적용하는 새로운 Shadow Batch Normalization(SBN)을 도입하여, 단일 공유 BN이 아닌, 예를 들어 SBN₁은 1개 경로, SBN₂는 2개 경로에 대응한다.
• 다양한 경로의 특징 벡터를 단일 경로 특징의 거의 배수로 모델링하여, 지수적 조합 대신 m개의 구성 요소만으로 효율적인 SBN 파arameterization을 가능하게 한다.
• 다양한 경로 조합 간의 특징 통계를 포착함으로써 분포 이탈을 줄이고 학습을 안정화시키기 위해 SBN을 활용한다.
• 슈퍼넷 예측을 독립형 모델 성능과 일치시키기 위해 후행 BN 校정을 적용하여 순위 정확도를 향상시킨다.
• 가중치 공유를 통한 일회성 슈퍼넷 학습 파이프라인에 SBN을 통합하여 하위 네트워크의 빠른 평가를 가능하게 한다.
• FLOPs와 정확도 제약 조건 하에서 파레토 최적 아키텍처 탐색을 위해 NSGA-II를 활용한다.

실험 결과

연구 질문

• RQ1 기본적인 다중 경로 슈퍼넷 학습이 왜 하위 네트워크의 안정적이고 정확한 순위를 도출하지 못하는가?
• RQ2 다양한 경로 조합을 가진 다중 경로 아키텍처의 성능을 효과적이고 안정적으로 표현할 수 있는 단일 슈퍼넷은 어떻게 설계할 수 있는가?
• RQ3 다양한 경로 조합 간의 특징 유사성을 활용하여 필요한 SBN 수를 지수적 수준에서 允가된 경로 수 m에 비례하는 선형 수준으로 줄일 수 있는가?
• RQ4 다중 경로 NAS 맥락에서 기존의 Switchable BN과 비교해 SBN은 어떤가?
• RQ5 SBN은 일회성 NAS에서 순위 성능과 일반화 능력을 어느 정도 향상시키는가?

주요 결과

• MixPath는 NAS-Bench-101의 일부에서 Kendall tau 0.597을 달성하여 기존 일회성 방법들보다 뛰어난 순위 성능을 입증한다.
• SBN을 활성화한 MixPath는 500M FLOPS 이하에서 ImageNet에서 97.44%의 top-1 정확도를 달성하여, SBN을 사용하지 않은 경우의 97.12%를 뛰어넘는다.
• 단지 10 GPU 일의 계산 자원으로도 기존에 200배 이상 많은 자원을 사용해 탐색한 모델들을 능가하는 최신의 ImageNet 성능을 달성한다.
• SBN은 필요한 배치 정규화 레이어 수를 지수적 수준에서 允가된 경로 수 m로 줄여 실용적인 구현을 가능하게 한다.
• 후행 BN 校정은 슈퍼넷과 독립형 모델 간의 성능 격차를 효과적으로 줄여 순위 신뢰도를 향상시킨다.
• S₃ 탐색 공간에서 NSGA-II는 랜덤 탐색보다 파레토 최적선상에서 더 높은 정확도와 더 낮은 FLOPs를 가진 모델을 발견한다.