[논문 리뷰] Speeding up NAS with Adaptive Subset Selection

Vishak Prasad C, Colin White외 3명|arXiv (Cornell University)|2022. 11. 02.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 적응형 서브셋 선택과 원샷 NAS를 통합하여 학습 시간을 극적으로 단축시키면서도 정확도를 유지하는 새로운 NAS 방법인 Adaptive-Dpt를 제안한다. 검색 과정 중에 대표성 있는 훈련 서브셋을 동적으로 선택함으로써, CIFAR-10과 ImageNet-1K에서 최대 10배의 속도 향상을 달성하면서도 최신 기술 수준의 성능 유지를 이룬다.

ABSTRACT

A majority of recent developments in neural architecture search (NAS) have been aimed at decreasing the computational cost of various techniques without affecting their final performance. Towards this goal, several low-fidelity and performance prediction methods have been considered, including those that train only on subsets of the training data. In this work, we present an adaptive subset selection approach to NAS and present it as complementary to state-of-the-art NAS approaches. We uncover a natural connection between one-shot NAS algorithms and adaptive subset selection and devise an algorithm that makes use of state-of-the-art techniques from both areas. We use these techniques to substantially reduce the runtime of DARTS-PT (a leading one-shot NAS algorithm), as well as BOHB and DEHB (leading multifidelity optimization algorithms), without sacrificing accuracy. Our results are consistent across multiple datasets, and towards full reproducibility, we release our code at https: //anonymous.4open.science/r/SubsetSelection NAS-B132.

연구 동기 및 목표

• 신경망 아키텍처 탐색(NAS)의 높은 계산 비용을 줄이면서도 모델 정확도를 유지하기 위해.
• DARTS-PT와 같은 기존의 원샷 NAS 방법들이 아키텍처 최적화에도 불구하고 여전히 느린 점을 해결하기 위해.
• 효율적 훈련에서의 적응형 서브셋 선택과 NAS 사이의 격차를 생체 이중 최적화 프레임워크를 활용해 메우기 위해.
• BOHB와 DEHB와 같은 다중 신뢰도 NAS 알고리즘을 적응형 데이터 서브셋 사용을 통해 향상시키는 일반화 가능한 프레임워크 개발하기 위해.

제안 방법

• DARTS-PT와 GLISTER를 결합한 혼합 이산-연속 이중 최적화 문제를 수립하여 아키텍처 가중치, 모델 가중치, 그리고 적응형 훈련 서브셋에 대한 동시 최적화를 가능하게 한다.
• GLISTER의 적응형 서브셋 선택 기법을 활용해 NAS 검색 중에 반복적으로 대표성 있는 훈련 데이터 서브셋을 업데이트함으로써 전체 데이터셋의 10%로 데이터 포트폴리오를 축소한다.
• 적응형 서브셋 선택을 다중 신뢰도 NAS 파이프라인에 통합하여, 하이퍼파ram터 최적화 가속화를 위한 Adaptive-BOHB와 Adaptive-DEHB를 구축한다.
• 시간 기반 스케줄링 업데이트를 적용하여 서브셋 선택 과정 중에 모델 성능이 안정적으로 유지되도록 보장한다.
• 원샷 NAS와 적응형 서브셋 선택 간의 자연스러운 이중성에 기반해, 둘 다 훈련 및 검증 세트에 대한 이중 최적화 문제로 표현되도록 한다.
• 네 가지 서브셋 선택 방법(시설 위치, 엔트로피, 무작위, GLISTER)을 하나의 원샷 NAS에 통합한 통합 코드베이스를 공개하여 재현성과 벤치마킹을 보장한다.

실험 결과

연구 질문

• RQ1 적응형 서브셋 선택을 원샷 NAS와 효과적으로 융합하여 성능 저하 없이 검색 시간을 단축시킬 수 있는가?
• RQ2 동적으로 업데이트되는 소규모 훈련 데이터 서브셋에서 훈련된 NAS 알고리즘의 성능는 어떻게 스케일링되는가?
• RQ3 적응형 서브셋 선택은 BOHB와 DEHB와 같은 다중 신뢰도 NAS 알고리즘을 얼마나 가속화할 수 있는가?
• RQ4 시설 위치 기반 서브셋 선택은 NAS에서 실용적이고 효과적인 기준이 될 수 있는가, 특히 엔트로피나 무작위 선택과 비교해 볼 때?
• RQ5 적응형 서브셋 선택의 통합은 NAS 파이프라인에서 CO2 배출량과 계산 비용을 순수 감소시킬 수 있는가?

주요 결과

• CIFAR-10의 S4 검색 공간에서 Adaptive-Dpt는 GPU 시간을 33.50에서 2.60로 10배 감소시켰고, 테스트 정확도는 35.00%에서 36.10%로 향상시켰다.
• DARTS 검색 공간에서 Adaptive-Dpt는 GPU 시간을 20.59에서 2.75로 86.7% 감소시켰고, 테스트 정확도는 DARTS-PT와 유사한 96.73% ± 0.29를 기록했다.
• NAS-Bench-201에서 Adaptive-Dpt는 훈련 데이터의 10%만을 사용하고 0.87 GPU 시간에 88.83% ± 1.09의 테스트 정확도를 달성하여 기존 베이스라인과 동등하거나 이를 초월했다.
• Adaptive-BOHB와 Adaptive-DEHB는 각각 BOHB와 DEHB보다 상당한 속도 향상을 보였고, 최종 아키텍처 성능에 하락이 없었다.
• NAS에서 시설 위치 기반 서브셋 선택이 효과적임을 입증했으며, 다양한 설정에서 무작위 및 엔트로피 기반 선택보다 뛰어난 성능을 보였다.
• 다양한 데이터셋과 검색 공간에서 일관된 런타임 감소가 관찰되어, 적응형 서브셋 선택 기법의 일반화 가능성과 강건성을 입증했다.