[논문 리뷰] Towards NNGP-guided Neural Architecture Search

Daniel Park, Jaehoon Lee외 3명|arXiv (Cornell University)|2020. 11. 11.

Advanced Neural Network Applications참고 문헌 61인용 수 14

한 줄 요약

이 논문은 신경망 구조 탐색(NAS)에서 최종 학습된 신경망 성능을 예측하는 데 있어 계산 비용이 저렴한 프록시로 신경망 가우시안 프로세스(NNGP) 추론을 제안한다. 초기화 시점에서 몬테카를로 추정을 통해 NNGP 검증 정확도를 계산함으로써, 단순히 학습을 단축시킨 것보다 최대 10배 빠른 평가가 가능해져 효과적인 검색 공간 정제와 예측 정확도 향상에 기여하며, CIFAR-10 및 ImageNet 벤치마크에서 성능을 개선한다.

ABSTRACT

The predictions of wide Bayesian neural networks are described by a Gaussian process, known as the Neural Network Gaussian Process (NNGP). Analytic forms for NNGP kernels are known for many models, but computing the exact kernel for convolutional architectures is prohibitively expensive. One can obtain effective approximations of these kernels through Monte-Carlo estimation using finite networks at initialization. Monte-Carlo NNGP inference is orders-of-magnitude cheaper in FLOPs compared to gradient descent training when the dataset size is small. Since NNGP inference provides a cheap measure of performance of a network architecture, we investigate its potential as a signal for neural architecture search (NAS). We compute the NNGP performance of approximately 423k networks in the NAS-bench 101 dataset on CIFAR-10 and compare its utility against conventional performance measures obtained by shortened gradient-based training. We carry out a similar analysis on 10k randomly sampled networks in the mobile neural architecture search (MNAS) space for ImageNet. We discover comparative advantages of NNGP-based metrics, and discuss potential applications. In particular, we propose that NNGP performance is an inexpensive signal independent of metrics obtained from training that can either be used for reducing big search spaces, or improving training-based performance measures.

연구 동기 및 목표

• NNGP 기반의 성능 예측이 NAS에서 최종 학습된 네트워크 성능을 위한 저비용이고 정확한 프록시로 기능할 수 있는지 평가하는 것.
• 계산 비용과 예측 유용성 측면에서 전통적인 단축 학습 메트릭과 NNGP 추론을 비교하는 것.
• NNGP가 큰 검색 공간을 줄이거나 학습 기반 성능 메트릭을 향상시키는 신호로 활용될 수 있는 잠재력을 조사하는 것.
• NNGP와 학습 기반 메트릭을 조합함으로써 NAS의 효율성과 정확도를 향상시킬 수 있음을 입증하는 것.

제안 방법

• 초기화 시점에서 유한한 너비의 네트워크를 사용해 몬테카를로 추정을 통해 NNGP 커널을 계산함으로써, 비용이 많이 드는 정확한 커널 계산을 피하는 것.
• 얻어진 NNGP 검증 정확도를 기반으로, 어떤 기울기 기반 학습도 수행하지 않고 각 아키텍처의 성능 프록시로 사용하는 것.
• NNGP 기반 순위를 적용해 큰 검색 공간을 정제하는 것(예: NAS-Bench-101 및 MNAS에서), 학습 대상 아키텍처의 수를 줄이는 것.
• 선형 모델을 사용해 NNGP 성능와 조기 학습 메트릭(예: 4 에포크 정확도)을 조합하여 하이브리드 성능 예측자 생성하는 것.
• NAS-Bench-101(모델 423만 개)과 MNAS(ImageNet, 1만 개 샘플링된 네트워크)에서 NNGP 및 하이브리드 메트릭의 예측 품질을 평가하는 것.
• 통계 분석과 성능 비교를 통해 NNGP와 최종 학습된 성능 간의 상관관계를 평가하는 것.

실험 결과

연구 질문

• RQ1 NNGP 추론은 NAS에서 최종 신경망 성능을 위한 신뢰할 수 있고 계산 비용이 저렴한 프록시로 기능할 수 있는가?
• RQ2 예측 정확도와 계산 비용 측면에서 NNGP 기반 성능 예측은 단축 학습 메트릭보다 어떻게 비교되는가?
• RQ3 큰 신경망 구조 탐색 공간의 크기를 줄일 때 NNGP 성능가 얼마나 활용될 수 있으며, 최종 성능에 영향을 주지 않고서도 가능한가?
• RQ4 NNGP와 조기 학습 메트릭을 조합해 하이브리드 성능 메트릭을 만들면, 학습 기반 메트릭만 사용하는 것보다 성능이 향상되는가?

주요 결과

• NNGP 추론은 단축 학습보다 최소한 한 계단 이상 저렴하며, 소규모 데이터셋에서는 FLOP 수치가 크게 낮아진다.
• NAS-Bench-101에서 NNGP 성능는 최종 학습된 성능과 강한 상관관계를 보이며, 검색 공간을 10%와 30%로 줄였을 때 각각 무작위 선택 대비 상위 10개 성능에서 9.49%, 9.12% 향상된 성능 기록.
• NNGP 스크리닝을 통해 검색 공간을 30%로 줄였을 때도 성능 품질을 유지하지만, 무작위 정제는 성능 저하를 초래한다.
• 4-에포크 학습 정확도와 NNGP 정확도를 조합한 하이브리드 메트릭은 4-에포크 학습만 사용하는 것보다 성능이 뛰어나며, 계산 비용은 거의 증가하지 않는다.
• NNGP 기반 스크리닝은 MNAS와 같이 크고 복잡한 검색 공간에서도 효과적이며, ImageNet의 난이도가 높음에도 불구하고 예측 능력을 유지한다.
• 이 연구는 NNGP 성능가 NAS 파이프라인에서 학습 기반 메트릭을 보완하거나 대체할 수 있는 유효하고 독립적인 신호임을 입증한다.