[논문 리뷰] Neural Predictor for Neural Architecture Search

Wei Wen, Hanxiao Liu외 4명|arXiv (Cornell University)|2019. 12. 02.

Machine Learning in Materials Science참고 문헌 27인용 수 19

한 줄 요약

이 논문은 N개의 무작위로 샘플된 아키텍처에서 훈련된 회귀 모델을 사용하여 검증 정확도를 예측하는 단순하지만 매우 샘플 효율적인 신경망 예측기(Neural Predictor)를 제안한다. NASBench-101에서 Regularized Evolution보다 샘플 효율성이 22.83배 뛰어나며, 복잡한 아키텍처 탐색 방법에 비해 최소한의 복잡성으로 ImageNet에서 ProxylessNAS 성능을 달성한다. 본 방법은 무작위 탐색과 지도 학습만을 사용한다.

ABSTRACT

Neural Architecture Search methods are effective but often use complex algorithms to come up with the best architecture. We propose an approach with three basic steps that is conceptually much simpler. First we train N random architectures to generate N (architecture, validation accuracy) pairs and use them to train a regression model that predicts accuracy based on the architecture. Next, we use this regression model to predict the validation accuracies of a large number of random architectures. Finally, we train the top-K predicted architectures and deploy the model with the best validation result. While this approach seems simple, it is more than 20 times as sample efficient as Regularized Evolution on the NASBench-101 benchmark and can compete on ImageNet with more complex approaches based on weight sharing, such as ProxylessNAS.

연구 동기 및 목표

• 강화 학습이나 가중치 공유에 의존하는 복잡한 NAS 방법에 비해 더 단순하고 샘플 효율적인 대안을 개발하기 위해.
• 기본 데이터셋에서 높은 정확도를 유지하면서 아키텍처 탐색의 계산 부담을 줄이기 위해.
• 경량의 회귀 기반 예측기를 활용해 계산 자원이 제한된 연구자들이 효과적으로 NAS를 수행할 수 있도록 하기 위해.
• 학습 분포 외의 아키텍처와 다양한 탐색 공간(특히 모바일 친화적인 모델 포함)으로의 일반화 성능을 입증하기 위해.

제안 방법

• N개의 무작위 아키텍처를 훈련하여 (아키텍처, 검증 정확도) 쌍을 수집하고, 이를 지도 학습 데이터셋으로 활용한다.
• 구조 표현에서 검증 정확도를 예측하기 위해 그래프 기반 신경망(양방향 GCN를 사용)을 활용한 회귀 모델을 훈련한다.
• 훈련된 예측기를 사용해 대규모의 무작위 아키텍처를 평가하고 순위를 매기며, 상위 K개를 최종 검증을 위해 선별한다.
• 표준 훈련 절차를 사용해 상위 K개의 예측된 아키텍처를 훈련하고 검증하여 가장 높은 성능를 보이는 모델을 선별한다.
• 특히 모바일 탐색 공간에서 정확도와 추론 지연 시간을 균형 잡는 소프트-파레토 최적성 기준을 적용한다.
• 원-핫 인코딩된 아키텍처 표현과 그래프 컨volutional 네트워크를 사용해 아키텍처의 구조를 학습 가능한 특징으로 인코딩한다.

실험 결과

연구 질문

• RQ1 작은 수의 무작위로 샘플된 아키텍처에서 훈련된 단순한 회귀 모델이 복잡한 NAS 방법보다 샘플 효율성에서 뛰어나게 성능을 낼 수 있는가?
• RQ2 신경 예측기는 학습 분포 외의 아키텍처, 특히 학습 중에 본 적이 없는 더 높은 정확도를 가진 아키텍처로 일반화할 수 있는가?
• RQ3 비가중치 공유 기반의 더 단순한 접근 방식을 사용하면서도 ImageNet에서 ProxylessNAS와 유사한 성능을 달성할 수 있는가?
• RQ4 모바일 배포를 위한 특정 지연 시간 제약 조건을 고려할 때 이 방법은 얼마나 효과적인가? 특히 각 타겟에 대해 재학습이 필요한 방법과 비교해 볼 때 어떻게 성능을 낼 수 있는가?
• RQ5 고정된 계산 예산 하에서 N(훈련 세트 크기)과 K(최종 검증 세트 크기) 사이의 상호 교환 관계는 어떠한가?

주요 결과

• NASBench-101 벤치마크에서 Neural Predictor는 Regularized Evolution보다 샘플 효율성이 22.83배 뛰어나며, 필요한 훈련 실행 횟수를 크게 줄였다.
• ProxylessNAS 탐색 공간에서 Neural Predictor는 ProxylessNAS와 유사한 정확도를 보이며, 랜덤 서치보다는 훨씬 뛰어난 성능을 보였다.
• 예측기는 잘 일반화된다: 훈련 중에 본 적이 없던 5개의 아키텍처(정확도 76% 이상)를 성공적으로 예측했다.
• 예측된 정확도와 진짜 정확도 사이의 켄달 순위 상관계수는 0.956에 도달했으며, R² 스코어는 0.929로 강력한 예측 성능를 나타냈다.
• 모바일 추론 시간(75–85 ms)을 목표로 할 경우, 137개의 유망한 모델을 식별했으며, 최종 검증 결과에서 랜덤 서치보다 뚜렷한 성능 격차를 유지했다.
• 이 방법은 매우 병렬화가 가능하며, 전체 병렬 처리 조건에서 단일 ProxylessNAS 탐색의 절반 이하 시간에 완료될 수 있어, 총 계산 자원이 더 많더라도 실질적으로 더 효율적이다.