[논문 리뷰] NSGANetV2: Evolutionary Multi-Objective Surrogate-Assisted Neural Architecture Search

Zhichao Lu, Kalyanmoy Deb외 3명|arXiv (Cornell University)|2020. 07. 20.

Advanced Neural Network Applications참고 문헌 44인용 수 15

한 줄 요약

NSGANetV2는 표준 및 비표준 데이터셋에서 순서수십만 분의 일 수준의 더 낮은 검색 비용으로 최신 기술 성능을 달성하는 진화적 다목적 신경망 아키텍처 탐색(NAS) 방법을 제안한다. 이는 아키텍처 수준에서 샘플 효율성을 높이기 위해 온라인 서rogate 모델을, 가중치 수준에서 훈련 효율성을 높이기 위해 슈퍼넷을 사용한다. 이로 인해 이동 기기 제약 조건 하에서 STL-10 및 Flowers102와 같은 벤치마크에서 기존 방법을 능가한다.

ABSTRACT

In this paper, we propose an efficient NAS algorithm for generating task-specific models that are competitive under multiple competing objectives. It comprises of two surrogates, one at the architecture level to improve sample efficiency and one at the weights level, through a supernet, to improve gradient descent training efficiency. On standard benchmark datasets (C10, C100, ImageNet), the resulting models, dubbed NSGANetV2, either match or outperform models from existing approaches with the search being orders of magnitude more sample efficient. Furthermore, we demonstrate the effectiveness and versatility of the proposed method on six diverse non-standard datasets, e.g. STL-10, Flowers102, Oxford Pets, FGVC Aircrafts etc. In all cases, NSGANetV2s improve the state-of-the-art (under mobile setting), suggesting that NAS can be a viable alternative to conventional transfer learning approaches in handling diverse scenarios such as small-scale or fine-grained datasets. Code is available at https://github.com/mikelzc1990/nsganetv2

연구 동기 및 목표

• 사용자 정의의 비표준 데이터셋과 다수의 상충되는 목표를 수반하는 실세계 시나리오에서 신경망 아키텍처 탐색(NAS)의 높은 계산 비용을 해결하기 위해.
• 현재 파레토 최적 해역을 중심으로 동적으로 학습하는 온라인 적응형 서rogate 모델을 오프라인 서rogate 학습 대체로 사용하여 상위 수준 아키텍처 탐색의 샘플 효율성을 향상시키기 위해.
• 후보 아키텍처의 훈련 효율성을 높이기 위해 슈퍼넷을 활용해 빠른 피니팅을 가능하게 하여 전체 SGD 반복을 줄이기 위해.
• 이동 기기 배포 제약 조건 하에서 소규모 및 세분화된 데이터셋에서 기존 전이 학습을 능가할 수 있도록 NAS가 가능함을 입증하기 위해.
• 정확도, FLOPs, 지연 시간, 모델 크기 등의 다양한 목표를 수반하는 다양한 데이터셋과 다목적 시나리오에서 확장 가능하고 실용적인 NAS를 가능하게 하기 위해.

제안 방법

• 이 방법은 이중 서rogate 전략을 사용한다: 현재 파레토 최적 해역 근처의 아키텍처에서 동적으로 학습하는 온라인 서rogate 모델을 아키텍처 수준에 적용하여 기존 오프라인 방법 대비 샘플 효율성을 크게 향상시킨다.
• 가중치 수준에서는 후보 아키텍처의 빠른 피니팅을 위해 초기 가중치를 제공하는 슈퍼넷을 훈련시켜 전체 훈련에서부터의 시작이 필요한 비용을 줄인다.
• 알고리즘은 아키텍처 공간을 탐색하면서 다양성과 파레토 최적 해역 향한 수렴을 유지하기 위해 진화적 다목적 최적화 프레임워크(NSGA-II)를 사용한다.
• 온라인 서rogate는 검색 과정 중 반복적으로 업데이트되며, 기존 연구에서 사용하는 무작위 또는 균일하게 샘플링된 서rogate와 달리 현재 무게 중심의 무게 중심 근처의 아키텍처를 우선순위로 삼는다.
• 이 방법은 스칼라화된 단일 목표 최적화와 다목적 최적화를 모두 지원하여 정확도, FLOPs, 파라미터 수, 추론 지연 시간 간의 트레이드오프를 가능하게 한다.
• 검색은 8개의 GPU에서 하루 분량의 예산으로 설정된 커스텀 데이터셋에서 수행되며, 조기 정지와 점진적 슈퍼넷 훈련을 통해 수렴 속도를 가속화한다.

실험 결과

연구 질문

• RQ1 아키텍처 수준에서 온라인 서rogate 모델이 오프라인 서rogate 학습에 비해 NAS의 샘플 효율성을 크게 향상시킬 수 있는가?
• RQ2 슈퍼넷 기반의 피니팅 전략이 성능을 손상시키지 않고 후보 아키텍처 평가의 훈련 비용을 줄일 수 있는가?
• RQ3 이동 기기 제약 조건 하에서 STL-10 및 Flowers102와 같은 비표준 데이터셋에서 NAS가 전이 학습을 능가할 수 있는가?
• RQ4 정확도, FLOPs, 지연 시간, 모델 크기 등의 다수의 상충되는 목표가 실질적으로 어떻게 상호작용하는가? 그리고 NAS는 이러한 트레이드오프를 효과적으로 탐색할 수 있는가?
• RQ5 제안된 방법은 세분화된 및 소규모 벤치마크를 포함한 다양한 데이터셋에서 확장 가능하고 효과적인가?

주요 결과

• NSGANetV2는 오직 596M FLOPs로 ImageNet에서 79.56%의 top-1 정확도를 달성하여, 정확도와 효율성 모두에서 EfficientNet-B1을 능가한다.
• STL-10에서 NSGANetV2는 준지도 학습 방법의 최신 기술 성능을 초월하여, NAS가 전이 학습의 타당한 대안이 될 수 있음을 보여준다.
• Flowers102에서 NSGANetV2는 EfficientNet-B3보다 더 높은 정확도를 달성하면서도 1.4B FLOPs를 절감하여, 뛰어난 효율-정확도 트레이드오프를 확인한다.
• 이 방법은 OnceForAll(16,000개 샘플)와 PNAS(1,160개 샘플)에 비해 오직 350개의 아키텍처 샘플로도 유사한 성능을 달성하여 샘플 효율성의 뚜렷한 향상을 입증한다.
• 정확도, FLOPs, 파라미터 수, CPU/GPU 지연 시간의 다섯 개 목표를 포함한 다목적 설정에서 명확한 파레토 표면이 나타나며, 특히 FLOPs와 파라미터 수 간의 비 trivial한 트레이드오프가 확인된다.
• 다섯 개 목표 공간에서 지배되지 않는 아키텍처들은 두 개 목표 문제로 축소될 경우 자주 지배당함을 보여주며, 전체 다목적 최적화의 중요성을 강조한다.