[논문 리뷰] Neural Architecture Generator Optimization

Binxin Ru, Pedro M. Esperança외 1명|arXiv (Cornell University)|2020. 04. 03.

Machine Learning and Data Classification참고 문헌 65인용 수 17

한 줄 요약

이 논문은 신경망 아키텍처 생성자를 최적화하는 데 중점을 두는 새로운 NAS 프레임워크인 신경망 아키텍처 생성 최적화(Neural Architecture Generator Optimization, NAGO)를 제안한다. 개별 아키텍처의 최적화에서 벗어나 확률적 네트워크 생성자를 최적화함으로써, 연속적인 하이퍼파라미터를 가진 계층적 그래프 기반의 검색 공간을 활용하여 효율적인 베이지안 최적화를 가능하게 하였으며, ImageNet 포함 여섯 가지 벤치마크에서 경량이면서 높은 경쟁력을 지닌 모델을 도출하여 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

Neural Architecture Search (NAS) was first proposed to achieve state-of-the-art performance through the discovery of new architecture patterns, without human intervention. An over-reliance on expert knowledge in the search space design has however led to increased performance (local optima) without significant architectural breakthroughs, thus preventing truly novel solutions from being reached. In this work we 1) are the first to investigate casting NAS as a problem of finding the optimal network generator and 2) we propose a new, hierarchical and graph-based search space capable of representing an extremely large variety of network types, yet only requiring few continuous hyper-parameters. This greatly reduces the dimensionality of the problem, enabling the effective use of Bayesian Optimisation as a search strategy. At the same time, we expand the range of valid architectures, motivating a multi-objective learning approach. We demonstrate the effectiveness of this strategy on six benchmark datasets and show that our search space generates extremely lightweight yet highly competitive models.

연구 동기 및 목표

• 기존 NAS 방법이 좁고 전문가가 설계한 검색 공간에 의존함으로써 局부 최적화점에 갇히고 아키텍처 혁신이 부족한 문제를 해결하기 위해.
• NAS의 차원을 줄이기 위해 아키텍처를 생성자 하이퍼파라미터 최적화 문제로 재정의함으로써 글로벌 최적화 전략을 보다 효과적으로 활용하기 위해.
• 최소한의 연속적 하이퍼파라미터로 다양한 아키텍처를 생성할 수 있는 고도로 표현력이 뛰어나며 계층적 그래프 기반의 검색 공간을 설계하기 위해.
• 효율적인 아키텍처 탐색을 위해 다목적 및 다중 정밀도 최적화를 가능하게 하면서도 높은 성능을 유지하기 위해.
• 개별 아키텍처가 아닌 생성자를 최적화함으로써 새로운 경량 및 경쟁력 있는 모델을 도출할 수 있음을 입증하기 위해.

제안 방법

• 세 단계로 구성된 계층적 그래프 기반 검색 공간(HNAG)을 제안하며, 각각 상위 수준 셀, 중간 수준 셀 구조, 하위 수준 원자 연산으로 구성되며, 각각 독립적인 그래프 생성자에 의해 제어된다.
• 상위 및 하위 수준의 그래프 생성에 워츠-스트로가츠 모델을 사용하며, 하이퍼파라미터 $\bm{\theta}_{top} = [N_t, K_t, P_t]$ 와 $\bm{\theta}_{bottom} = [N_b, K_b, P_b]$ 를 사용하고, 중간 수준의 그래프에는 에르되시-레니 모델을 사용하며 $\bm{\theta}_{mid} = [N_m, P_m]$ 를 사용한다.
• 전체 아키텍처를 확률적 생성자로부터의 샘플로 간주함으로써, 검색이 개별 아키텍처가 아닌 생성자 하이퍼파라미터 최적화에 집중할 수 있도록 한다.
• 낮은 차원의 생성자 공간을 효율적으로 탐색하기 위해 다중 정밀도 및 다목적 설정에서 베이지안 최적화(BO)를 적용한다.
• 고정된 파라미터 예산을 유지하기 위해 동적 채널 계산 전략을 도입함으로써 경량 모델 생성을 가능하게 한다.
• 효율적인 하이퍼파라미터 탐색을 위해 BOHB 및 MOBO를 활용하며, 자원 제약 조건 하에서 CIFAR-10, CIFAR-100 및 ImageNet에서 평가를 수행한다.

실험 결과

연구 질문

• RQ1 NAS를 효과적으로 생성자 하이퍼파라미터 최적화 문제로 재정의함으로써 국부 최적화점에서 벗어나 새로운 아키텍처를 탐색할 수 있는가?
• RQ2 연속적 하이퍼파라미터를 가진 계층적 그래프 기반 검색 공간이 NAS의 차원을 크게 줄이면서도 아키텍처의 표현력을 유지할 수 있는가?
• RQ3 베이지안 최적화를 사용해 네트워크 생성자를 최적화함으로써 다양한 비전 벤치마크에서 경량이면서도 경쟁력 있는 모델을 도출할 수 있는가?
• RQ4 제안된 NAGO 프레임워크는 정확도 및 파라미터 효율성 측면에서 기존의 원샷 및 슈퍼넷 기반 NAS 방법과 비교해 어떻게 성능를 발휘하는가?
• RQ5 생성자 하이퍼파라미터가 높은 성능을 보이는 아키텍처의 전반적인 구조적 특성에 대해 얼마나 해석 가능한 통찰을 제공할 수 있는가?

주요 결과

• NAGO는 CIFAR-10, CIFAR-100 및 ImageNet 포함 여섯 개의 비전 벤치마크에서 최신 기술 수준의 성능를 달성하며 기존 NAS 방법을 초월한다.
• HNAG 검색 공간은 다양한 배선 패턴, 메모리 사용량, 학습 시간을 가진 다양한 아키텍처를 성공적으로 생성하였으며, DARTS 유사한 아키텍처도 포함한다.
• ImageNet에서 HNAG-BOHB 접근법은 제한된 검색 예산과 10회의 BOHB 반복만으로도 [14] 및 기타 벤치마크보다 뛰어난 평균 성능를 기록하였다.
• 고정된 파라미터 예산을 유지하기 위해 동적 채널 계산 전략을 도입함으로써 매우 효율적이고 경량의 모델이 도출되었다.
• 초기 학습 프로토콜에서 DropPath 및 보조 타워와 같은 기법이 생략된 점을 고려할 때, 최적화된 학습 프로토콜을 적용하면 더 높은 정확도 향상이 가능할 것으로 예상된다.
• 생성자 하이퍼파라미터를 전반적인 구조적 특성(예: 연결성, 연산 유형 등)과 연결함으로써 아키텍처 설계에 대한 이해할 수 있는 고수준의 통찰을 제공한다.