[논문 리뷰] NAS-Bench-x11 and the power of learning curves

Yan, Shen, White, Colin외 2명|FreiDok plus (Universitätsbibliothek Freiburg)|2021. 01. 01.

Adversarial Robustness in Machine Learning참고 문헌 76인용 수 8

한 줄 요약

이 논문은 신경망 아키텍처 탐색(NAS)을 위한 완전한 학습 곡선(모든 에포크 동안의 손실 및 정확도)을 제공하는 서rogate 벤치마크인 NAS-Bench-111, NAS-Bench-311, 그리고 NAS-Bench-NLP11을 소개한다. 이를 통해 다중 신뢰도 기법(예: 학습 곡선 외삽)을 가능하게 하며, 일부 완전히 훈련된 아키텍처에 대해 특이값 분해(SVD)와 노이즈 모델링을 활용해 매우 정확한 서rogate 모델을 구축한다. 이로 인해 단일 신뢰도 NAS 알고리즘에 조기 정지 및 외삽 기법을 통합함으로써 네 개의 탐색 공간에서 성능이 크게 향상된다.

ABSTRACT

While early research in neural architecture search (NAS) required extreme computational resources, the recent releases of tabular and surrogate benchmarks have greatly increased the speed and reproducibility of NAS research. However, two of the most popular benchmarks do not provide the full training information for each architecture. As a result, on these benchmarks it is not possible to run many types of multi-fidelity techniques, such as learning curve extrapolation, that require evaluating architectures at arbitrary epochs. In this work, we present a method using singular value decomposition and noise modeling to create surrogate benchmarks, NAS-Bench-111, NAS-Bench-311, and NAS-Bench-NLP11, that output the full training information for each architecture, rather than just the final validation accuracy. We demonstrate the power of using the full training information by introducing a learning curve extrapolation framework to modify single-fidelity algorithms, showing that it leads to improvements over popular single-fidelity algorithms which claimed to be state-of-the-art upon release. Our code and pretrained models are available at https://github.com/automl/nas-bench-x11.

연구 동기 및 목표

• 기존 NAS 벤치마크가 최종 검증 정확도만 저장하고 전체 학습 곡선을 제공하지 않아 학습 곡선 외삽과 같은 다중 신뢰도 기법의 사용이 제한되는 문제를 해결하기 위해.
• 대규모 탐색 공간 내 모든 아키텍처에 대해 완전한 학습 곡선(학습/검증/테스트 손실 및 정확도)을 예측할 수 있는 정확한 서rogate 벤치마크를 개발하기 위해.
• 새로운 벤치마크에서 제공하는 전체 학습 곡선 정보를 활용해 학습 곡선 외삽을 통합함으로써 단일 신뢰도 NAS 알고리즘이 크게 향상될 수 있음을 보여주기 위해.
• 고정밀도 예측을 가능하게 하는 CPU 기반 벤치마크를 제공함으로써 재현 가능성 향상과 계산 비용 절감을 위해.

제안 방법

• 완전히 훈련된 아키텍처의 일부에서 전체 학습 곡선의 차원을 축소하기 위해 특이값 분해(SVD)를 사용한다.
• SVD 구성요소에 기반해 학습 곡선의 최상위 특이값 계수를 회귀 모델을 통해 예측한다.
• 예측의 잔차 노이즈를 학습된 분포로 모델링하여 불확실성 추정과 예측 정확도를 향상시킨다.
• 다양한 아키텍처(무작위 샘플링 및 최고 성능를 낸 NAS 방법에 의해 선택된 아키텍처 포함)를 활용해 탐색 공간의 광범위한 커버리지 확보를 위해 서rogate 모델을 훈련한다.
• 예를 들어 NAS-Bench-NLP11에서는 첫 세 에포크의 조기 학습 정확도와 같은 추가 기능을 추가하여 예측 정밀도를 향상시킨다.
• 예측 정확도를 보장하기 위해 보류된 테스트 세트에서 켄달 타우 순위 상관관계 및 쿨백-라이블러 발산과 같은 지표를 사용해 서rogate 벤치마크를 검증한다.

실험 결과

연구 질문

• RQ1 대규모 신경망 아키텍처 탐색 공간 내 아키텍처에 대해 전체 학습 곡선 정보(모든 에포크 동안의 손실 및 정확도)를 제공하는 서rogate 벤치마크를 구축할 수 있는가?
• RQ2 전체 학습 곡선이 가용할 경우, 학습 곡선 외삽(LCE)이 단일 신뢰도 NAS 알고리즘의 성능을 얼마나 향상시킬 수 있는가?
• RQ3 예를 들어 첫 세 에포크의 조기 학습 정확도를 포함함으로써 NAS-Bench-NLP11에 대한 서rogate 모델의 정확도는 어떻게 향상되는가?
• RQ4 서rogate 벤치마크의 예측 능력은 순위 상관관계와 분포 유사성 측면에서 실제 학습 곡선과 비교해 어떻게 되는가?
• RQ5 SVD와 노이즈 모델링을 활용한 이 프레임워크가 향후 NAS 연구를 위한 새로운 서rogate 벤치마크를 생성하는 데 일반화될 수 있는가?

주요 결과

• NAS-Bench-111, NAS-Bench-311, NAS-Bench-NLP11과 같은 서rogate 벤치마크는 높은 예측 정확도를 달성하였으며, 테스트 세트에서 켄달 타우 순위 상관관계가 0.9를 초과하여 상대적 성능 순서가 잘 유지됨을 나타낸다.
• 정규화된 진화, 국소 탐색, BANANAS와 같은 단일 신뢰도 NAS 알고리즘에 학습 곡선 외삽(LCE)을 적용하면, 테스트한 네 개의 탐색 공간 전반에서 일관된 성능 향상이 이루어진다.
• NAS-Bench-111 서rogate 벤치마크는 단지 1,101개의 훈련 아키텍처만으로도 NAS-Bench-101에서 추가로 제공된 검증 정확도 포인트를 특징으로 하여 강력한 평균 성능를 달성한다.
• NAS-Bench-NLP11 벤치마크는 첫 세 에포크 정확도를 입력 특징으로 사용할 경우 성능이 크게 향상되며, 이는 서rogate 모델을 쿼리하기 전에 세 에포크의 워밍업을 시행할 근거를 제공한다.
• 노이즈 모델링 구성 요소는 더 큰 훈련 세트(60,000개 아키텍처)를 가진 NAS-Bench-311에서 가장 효과적으로 작용하여 예측 오차를 감소시키고 스파이크 이상치에 대한 강건성을 향상시킨다.
• 이 프레임워크는 NAS-Bench-NLP11에서 전체 훈련 대비 15배의 속도 향상을 이끌었으며, 높은 예측 정밀도를 유지함으로써 CPU 기반의 NAS 실험을 가능하게 하고 효율적으로 만들었다.