[논문 리뷰] HELP: Hardware-Adaptive Efficient Latency Prediction for NAS via Meta-Learning

Hayeon Lee, Sewoong Lee외 2명|arXiv (Cornell University)|2021. 06. 16.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 새로운 하드웨어 장치에서 10~20회의 측정만으로도 신속하고 정확한 지연 시간 예측이 가능한 메타러닝 기반 지연 시간 예측기인 HELP를 제안한다. 기존의 지연 시간 예측 모델을 각 장치마다 새로 훈련할 필요 없이, 새로운 하드웨어 임bedding를 통해 장치 특화의 초기 가중치를 학습하고 내부 루프 적응을 통해 일반화 성능을 향상시킨다. 이로 인해 기존의 기준 대비 90배 적은 샘플로도 뛰어난 성능을 달성한다.

ABSTRACT

For deployment, neural architecture search should be hardware-aware, in order to satisfy the device-specific constraints (e.g., memory usage, latency and energy consumption) and enhance the model efficiency. Existing methods on hardware-aware NAS collect a large number of samples (e.g., accuracy and latency) from a target device, either builds a lookup table or a latency estimator. However, such approach is impractical in real-world scenarios as there exist numerous devices with different hardware specifications, and collecting samples from such a large number of devices will require prohibitive computational and monetary cost. To overcome such limitations, we propose Hardware-adaptive Efficient Latency Predictor (HELP), which formulates the device-specific latency estimation problem as a meta-learning problem, such that we can estimate the latency of a model's performance for a given task on an unseen device with a few samples. To this end, we introduce novel hardware embeddings to embed any devices considering them as black-box functions that output latencies, and meta-learn the hardware-adaptive latency predictor in a device-dependent manner, using the hardware embeddings. We validate the proposed HELP for its latency estimation performance on unseen platforms, on which it achieves high estimation performance with as few as 10 measurement samples, outperforming all relevant baselines. We also validate end-to-end NAS frameworks using HELP against ones without it, and show that it largely reduces the total time cost of the base NAS method, in latency-constrained settings. Code is available at https://github.com/HayeonLee/HELP.

연구 동기 및 목표

• 하드웨어 인식 NAS에서 새로운 하드웨어 장치마다 대규모 지연 시간 측정을 수행하는 데 드는 높은 계산 및 금전적 비용을 해결하기 위해.
• 기존 방법들이 각 장치와 작업마다 지연 시간 예측 모델을 새로 훈련해야 하는 한계를 극복하기 위해.
• 다양한 장치 풀에서의 메타지식을 활용하여, 새로운 장치에 대해 샘플 효율적인 지연 시간 예측을 가능하게 하기 위해.
• 기존의 빠른 NAS 프레임워크와 원활하게 통합되어, 지연 시간 제약 조건이 있는 환경에서 총 탐색 시간을 극적으로 단축시키기 위해.

제안 방법

• 지연 시간 예측 문제를 소수의 샘플로 새로운 장치에 적응하는 소수 회귀 문제로 재정의한다.
• 일련의 기준 아키텍처에 대한 지연 시간 반응을 기반으로, 어떤 장치라도 잠재 벡터로 표현하는 새로운 하드웨어 임bedding 메커니즘을 도입한다.
• 보상 메타러닝과 기울기 기반 메타러닝을 조합한 메타러닝 프레임워크를 설계하여 장치 적응형 초기 가중치를 학습한다.
• 하드웨어 임bedding를 메타러너의 입력으로 사용하여 초기 모델 가중치를 예측한 후, 내부 루프 기울기 업데이트를 통해 새로운 장치에 신속하게 적응시킨다.
• 다양한 장치(예: GPU 및 CPU) 풀에서 훈련하여 하드웨어 이질성에 걸쳐 일반화할 수 있도록 한다.
• 기존의 지연 시간 예측 모델을 메타러닝 기반의 HELP 예측 모델로 대체함으로써, NAS 프레임워크와 종단 간 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 지연 시간 예측 모델이 최소한의 측정 오버헤드로 다양한 새로운 하드웨어 플랫폼에 일반화될 수 있는가?
• RQ2 하드웨어 임bedding를 활용한 메타러닝이 정확한 예측을 위해 필요한 지연 시간 측정 수를 얼마나 줄일 수 있는가?
• RQ3 기존의 NAS 방법과 통합되었을 때, HELP는 지연 시간 제약 조건이 있는 NAS의 총 시간 비용을 어느 정도 줄일 수 있는가?
• RQ4 제안된 하드웨어 임bed딩이 정확한 메타적응을 위해 장치 특성의 핵심을 효과적으로 포착하는가?

주요 결과

• HELP는 장치당 10~20회의 측정만으로도 새로운 장치에서 최신 기준 수준의 지연 시간 예측 성능을 달성하며, 기준 대비 큰 성능 격차를 보인다.
• HW-NAS-Bench 데이터셋을 사용한 NAS-Bench-201에서, HELP는 기준 방법 대비 최소 90배 이상의 샘플 수를 줄였다.
• HAT와 결합했을 때, HELP는 지연 시간 예측 모델을 훈련하기 위해 필요한 샘플 수를 2000에서 단 10으로 줄였으며, WMT’14 En-De에서 경쟁력 있는 BLEU 점수를 유지했다.
• 90ms 지연 시간 제약 조건에서, HAT+HELP는 10회의 샘플로 BLEU 점수 27.19를 달성했고, 기준 방법이 2000회의 샘플을 사용했을 때의 27.08점보다 높았다.
• CPU 플랫폼(인텔 엑손 골드6240)에서 HAT+HELP는 10회의 샘플로 BLEU 점수 27.52를 기록했으며, 기준 방법이 2000회의 샘플로 훈련한 27.09점보다 뛰어났다.
• OFA 및 MetaD2A와 같은 빠른 NAS 방법과의 통합을 통해, HELP는 새로운 장치에서 거의 즉각적인 지연 시간 제약 조건을 충족하는 NAS를 가능하게 하여 총 탐색 비용을 크게 감소시켰다.