[논문 리뷰] NSGA-Net: Neural Architecture Search using Multi-Objective Genetic Algorithm

Zhichao Lu, Ian Whalen외 5명|arXiv (Cornell University)|2018. 10. 08.

Machine Learning and Data Classification참고 문헌 47인용 수 73

한 줄 요약

NSGA-Net 는 다목적 유전 알고리즘을 사용하여 교차 및 Bayesian-network 활용으로 정확도와 FLOPs를 트레이드오프하는 신경망 구조를 탐색하고 Pareto 프런티어를 생성하여 CIFAR-10에서 경쟁력 있는 결과와 훨씬 낮은 컴퓨트 비용을 제공합니다.

ABSTRACT

This paper introduces NSGA-Net -- an evolutionary approach for neural architecture search (NAS). NSGA-Net is designed with three goals in mind: (1) a procedure considering multiple and conflicting objectives, (2) an efficient procedure balancing exploration and exploitation of the space of potential neural network architectures, and (3) a procedure finding a diverse set of trade-off network architectures achieved in a single run. NSGA-Net is a population-based search algorithm that explores a space of potential neural network architectures in three steps, namely, a population initialization step that is based on prior-knowledge from hand-crafted architectures, an exploration step comprising crossover and mutation of architectures, and finally an exploitation step that utilizes the hidden useful knowledge stored in the entire history of evaluated neural architectures in the form of a Bayesian Network. Experimental results suggest that combining the dual objectives of minimizing an error metric and computational complexity, as measured by FLOPs, allows NSGA-Net to find competitive neural architectures. Moreover, NSGA-Net achieves error rate on the CIFAR-10 dataset on par with other state-of-the-art NAS methods while using orders of magnitude less computational resources. These results are encouraging and shows the promise to further use of EC methods in various deep-learning paradigms.

연구 동기 및 목표

• 다중 목표를 명시적으로 최적화하면서 신경 아키텍처 검색(NAS)을 자동화한다.
• 예측 성능과 계산 관련 제약(FLOPs)을 균형 있게 조정한다.
• 반복 블록을 넘어서 전체 네트워크 구조를 탐색하여 아키텍처를 탐구한다.
• 효율적 탐색을 위한 베이지안 학습을 통해 기록(history)을 활용한다.

제안 방법

• 아키텍처를 phase 수준의 블록(단계당 연산)의 비트 문자열 인코딩으로 표현한다.
• 오류와 FLOPs 목표 전반에 걸쳐 다양한 Pareto-front를 유지하기 위해 NSGA-II를 사용한다.
• 아키텍처 블록을 재조합하기 위한 교차(crossover)와 다양성을 도입하기 위한 돌연변이(mutation)를 적용한다.
• 베이지안 네트워크를 통해 탐색 기록을 활용하여 유망한 자손을 샘플링한다(BOA 영감).
• 2단계 탐색: 탐색(exploration: 교차/돌연변이) 후 활용(exploitation: BN-가이드 샘플링).
• 탐색 중 검증 오류를 평가하기 위해 후보 아키텍처를 SGD와 코사인 어닐링으로 학습한다.

실험 결과

연구 질문

• RQ1 다중 목표 EA가 정확도와 계산 비용의 균형을 맞춘 신경 아키텍처의 Pareto 프런티어를 찾을 수 있는가?
• RQ2 교차 및 베이지안 네트워크 활용을 도입하는 것이 무작위 또는 단일 목표 방법에 비해 탐색 효율성과 품질을 향상시키는가?
• RQ3 NSGA-Net에서 발견된 아키텍처의 related 데이터셋(CIFAR-100 등)이나 설정으로의 전이 가능성은 어느 정도인가?
• RQ4 정확도, 매개변수 수, 계산 비용 측면에서 NSGA-Net이 최신 NAS 방법과 어떻게 비교되는가?
• RQ5 다중 목표를 최적화할 때 어떤 아키텍처 경향이 나타나는가?

주요 결과

• NSGA-Net은 CIFAR-10에서 오차와 FLOPs의 균형을 이루는 아키텍처의 Pareto-front를 발견한다.
• 최적으로 발견된 아키텍처는 3.85%의 테스트 오차와 3.34M 매개변수, 1290 MFLOPs를 달성한다.
• NSGA-Net은 경쟁 NAS 방법들에 비해 계산 비용이 상당히 적은(8 GPU-일) 반면 경쟁력 있는 정확도를 제공한다.
• 베이지안 네트워크 기반 활용 단계와 교차가 무작위 탐색이나 돌연변이만 사용하는 EA에 비해 프런티어 품질을 향상시킨다.
• CIFAR-10에서 발견된 아키텍처가 CIFAR-100으로 합리적으로 전이되어 더 적은 매개변수로 경쟁력 있는 정확도를 달성한다.
• 아블레이션 연구는 교차와 BN 기반 자손 생성을 모두 더 나은 트레이드-오프에 기여한다는 것을 보여준다.