[논문 리뷰] A Hardware-Aware Framework for Accelerating Neural Architecture Search Across Modalities

Daniel Cummings, Anthony Sarah외 4명|arXiv (Cornell University)|2022. 05. 19.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 다중 모odal 간 하드웨어 인지 신경망 아키텍처 탐색(NAS)을 반복적으로 유전적 알고리즘과 경량 훈련된 성능 예측기로 짝지어 가속화하는 하드웨어 인지 NAS 프레임워크인 LINAS를 제안한다. 이는 검증 오버헤드를 줄이며 GPU, CPU 및 모바일 플랫폼 전반에 걸쳐 하드웨어 특화 최적화를 유지하면서도, 특히 이미지 분류 및 추천 작업에서 파레토 최적의 하위망으로의 수렴 속도를 높인다.

ABSTRACT

Recent advances in Neural Architecture Search (NAS) such as one-shot NAS offer the ability to extract specialized hardware-aware sub-network configurations from a task-specific super-network. While considerable effort has been employed towards improving the first stage, namely, the training of the super-network, the search for derivative high-performing sub-networks is still under-explored. Popular methods decouple the super-network training from the sub-network search and use performance predictors to reduce the computational burden of searching on different hardware platforms. We propose a flexible search framework that automatically and efficiently finds optimal sub-networks that are optimized for different performance metrics and hardware configurations. Specifically, we show how evolutionary algorithms can be paired with lightly trained objective predictors in an iterative cycle to accelerate architecture search in a multi-objective setting for various modalities including machine translation and image classification.

연구 동기 및 목표

• 다양한 하드웨어 플랫폼과 다중 성능 메트릭을 고려할 때 최적의 하위망을 탐색하는 데 소요되는 높은 계산 비용을 해결하기 위해.
• NAS 동안 전체 검증 사이클에 대한 의존도를 줄이기 위해, 검증 비용이 낮은 예측기 기반의 탐색 루프를 도입하여 아키텍처 공간 탐색을 가속화하기 위해.
• 이미지 분류, 기계 번역 및 추천 시스템 등 다양한 모달 간에 효율적이고 다중 목표 최적화를 수행하면서도 하드웨어 인지성을 유지하기 위해.
• 유전적 알고리즘과 예측 모델을 조합한 것이 랜덤 서치 및 NSGA-II와 같은 표준 NAS 베이스라인에 비해 초과체적 영역(hypervolume)과 수렴 속도 측면에서 뛰어난 성능을 보임을 입증하기 위해.
• 다양한 딥러닝 워크로드와 하드웨어 구성에 걸쳐 다양한 검색 알고리즘과 예측 모델을 유연하게 통합할 수 있는 일반화 가능한 프레임워크를 제공하기 위해.

제안 방법

• 가중치 공유를 통해 사전 훈련된 슈퍼넷을 사용하여 재훈련 없이도 효율적인 하위망 추출을 가능하게 한다.
• 이중 단계 루프를 적용한다: 내부 유전적 알고리즘(EA)이 경량 성능 예측기의 예측 결과를 사용하여 아키텍처 공간을 탐색한다.
• 성능 예측기는 샘플링된 하위망의 소량의 데이터로 훈련되며, 새로운 아키텍처에 대한 정확도 및 지연 시간과 같은 핵심 메트릭을 예측한다.
• 유전적 알고리즘(e.g., NSGA-II, U-NSGA-III)은 예측 성능 기반으로 새로운 후보 하위망을 생성하여 전체 검증이 필요한 횟수를 줄인다.
• 예측기의 정밀도를 반복적으로 향상시키고, 다중 목표 최적화를 통해 인구 집단을 진화시켜 파레토 최적의 하위망 집합으로 수렴한다.
• 모듈러한 설계를 통해 다양한 검색 알고리즘과 예측 모델을 교환 가능하게 하며, GPU, CPU 및 모바일 디바이스를 포함한 다양한 하드웨어 플랫폼에서의 배포를 지원한다.

실험 결과

연구 질문

• RQ1 경량 예측기 기반의 유전적 루프가 다중 목표 NAS 환경에서 하드웨어 최적화된 하위망 탐색을 상당히 가속화할 수 있는가?
• RQ2 LINAS의 성능는 랜덤 서치 및 NSGA-II와 같은 표준 NAS 베이스라인 대비 다양한 모달 간 초과체적 영역과 수렴 속도 측면에서 어떻게 비교되는가?
• RQ3 유전적 알고리즘 또는 예측 모델의 선택이 최종적으로 도출된 파레토 최적의 하위망 집합의 품질에 얼마나 큰 영향을 미치는가?
• RQ4 LINAS 프레임워크는 이미지 분류, 추천(NCF), 트랜스포머 기반 모델 등 다양한 모달에 대해 얼마나 일반화 가능한가?
• RQ5 지연 시간 범위나 플랫폼 특화 특성에 대한 사전 지식 없이도 LINAS가 효과적인 하드웨어 인지 최적화를 달성할 수 있는가?

주요 결과

• LINAS는 특히 이미지 분류 작업(예: MobileNetV3 및 ResNet50)에서 NSGA-II 및 랜덤 서치보다 상당히 더 빠른 수렴 속도를 보이며, 유사한 성능에 도달하기 위해 평가 횟수를 50% 감소시켰다.
• 파레토 기반 다중 목표 유전적 알고리즘(예: NSGA-II, U-NSGA-III)을 내부 루프에 적용한 결과, 고가의 평가 런타임을 겪는 단일 목표 방법(MOTPE)에 비해 훨씬 뛰어난 성능을 달성했다.
• MobileNetV3 탐색 공간에서 내부 EA 루프의 인구 집단 크기 50이 탐색과 수렴 속도 사이의 최적의 균형을 이룬다.
• LINAS는 GPU, CPU 및 모바일 디바이스를 포함한 다양한 하드웨어 플랫폼에서 일관된 성능을 보이며, 플랫폼 특화 튜닝이나 사전 지연 시간 지식이 필요하지 않다.
• NCF 및 트랜스포머와 같은 매우 제약된 탐색 공간에서는 고성능 아키텍처의 분포가 더욱 조밀해져서 효과가 다소 뚜렷하지 않지만, 여전히 베이스라인 대비 측정 가능한 향상을 보였다.
• 프레임워크의 모듈러한 설계 덕분에 다양한 검색 알고리즘과 예측 모델을 쉽게 통합할 수 있으며, 최종 성능에 미치는 영향도 최소화되어 다양한 모달과 하드웨어 대상에 대한 일반화 가능성은 확인되었다.