[논문 리뷰] GP-NAS-ensemble: a model for NAS Performance Prediction

Kunlong Chen, Yang Liu외 4명|arXiv (Cornell University)|2023. 01. 23.

Anomaly Detection Techniques and Applications인용 수 9

한 줄 요약

GP-NAS-ensemble은 소규모 학습 데이터로 NAS 성능을 예측하기 위해 앙상블 및 특징 엔지니어링 전략을 GP-NAS에 확장하여, CVPR 2022 경량 NAS 챌린지에서 2위에 올랐습니다.

ABSTRACT

It is of great significance to estimate the performance of a given model architecture without training in the application of Neural Architecture Search (NAS) as it may take a lot of time to evaluate the performance of an architecture. In this paper, a novel NAS framework called GP-NAS-ensemble is proposed to predict the performance of a neural network architecture with a small training dataset. We make several improvements on the GP-NAS model to make it share the advantage of ensemble learning methods. Our method ranks second in the CVPR2022 second lightweight NAS challenge performance prediction track.

연구 동기 및 목표

• NAS의 후보 아키텍처를 완전히 학습시키지 않고 성능 예측의 정확성을 motivates.
• GP-NAS를 앙상블 학습 및 특징 엔지니어링 기법으로 개선합니다.
• CVPR 2022 lightweight NAS 챌린지 데이터셋에서 견고성과 정확도 향상을 입증합니다.

제안 방법

• Gaussian process 회귀를 사용하여 아키텍처 성능을 예측하고 정의된 사전 평균 및 커널(Kalman-like update)을 적용합니다.
• 구성 간의 유사성을 포착하기 위해 원-핫 및 이중 핫 인코딩으로 아키텍처 특징을 엔지니어합니다.
• 테스트 라벨이 이용 가능하지 않을 때 아키텍처 정확도에 대한 분포를 가정하여 라벨을 변환합니다.
• k_w와 k_rbf^s를 결합하는 가중 앙상블 커널을 도입하고 Bayesian 최적화를 통해 작업별 가중치를 최적화합니다.
• 다양한 인코딩의 GP-NAS를 포함한 다수의 기본 모델을 학습시키고 그들의 사전(priors)을 GP-NAS-ensemble에서 혼합합니다.

Figure 1 : An illustration of the proposed GP-NAS-ensemble model.

실험 결과

연구 질문

• RQ1 GP-NAS-ensemble이 제한된 학습 데이터로 NAS 성능 예측 정확도를 향상시킬 수 있습니까?
• RQ2 가장 좋은 예측 성능을 내는 특징 인코딩과 라벨 변환의 조합은 무엇입니까?
• RQ3 가중 앙상블 커널과 다중 모델 앙상블이 NAS 성능 예측 작업에서 리더보드 점수를 향상시킵니까?

주요 결과

• Baseline GP-NAS의 공개 리더보드 점수는 약 0.668입니다.
• 원-핫 또는 이중 핫 특징 인코딩은 점수를 약 0.787로 올립니다.
• 정규 분포를 이용한 라벨 변환은 약 0.796을 산출합니다.
• 모든 수정 적용 시 최종 점수는 약 0.800에 근접합니다.
• 가중 앙상블 커널은 대부분의 작업에서 성능을 향상시키며 작업별 구성 요소가 전체 이득에 기여합니다.
• GP-NAS-ensemble 접근 방식은 CVPR 2022 두 번째 경량 NAS 챌린지 성능 예측 트랙에서 2위를 차지했습니다.