[논문 리뷰] Generalized Latency Performance Estimation for Once-For-All Neural Architecture Search

Muhtadyuzzaman Syed, Arvind Akpuram Srinivasan|arXiv (Cornell University)|2021. 01. 04.

Advanced Neural Network Applications참고 문헌 8인용 수 5

한 줄 요약

이 논문은 하드웨어에 종속적인 룩업 테이블 대신 학습 가능한 지연 시간 예측기로 대체하는 일반화된 지연 시간 예측 프레임워크를 제안한다. 미세조정 및 GPU 일반화 전략을 도입함으로써, 이 방법은 ProxylessNAS 대비 50퍼센트 이상 낮은 RMSE를 달성하며, 다양한 하드웨어 플랫폼에서 기준 성능을 유지하거나 초월한다. 이는 수작업의 양을 크게 줄이고, 효율적이고 하드웨어에 종속되지 않는 NAS를 가능하게 한다.

ABSTRACT

Neural Architecture Search (NAS) has enabled the possibility of automated machine learning by streamlining the manual development of deep neural network architectures defining a search space, search strategy, and performance estimation strategy. To solve the need for multi-platform deployment of Convolutional Neural Network (CNN) models, Once-For-All (OFA) proposed to decouple Training and Search to deliver a one-shot model of sub-networks that are constrained to various accuracy-latency tradeoffs. We find that the performance estimation strategy for OFA's search severely lacks generalizability of different hardware deployment platforms due to single hardware latency lookup tables that require significant amount of time and manual effort to build beforehand. In this work, we demonstrate the framework for building latency predictors for neural network architectures to address the need for heterogeneous hardware support and reduce the overhead of lookup tables altogether. We introduce two generalizability strategies which include fine-tuning using a base model trained on a specific hardware and NAS search space, and GPU-generalization which trains a model on GPU hardware parameters such as Number of Cores, RAM Size, and Memory Bandwidth. With this, we provide a family of latency prediction models that achieve over 50% lower RMSE loss as compared to with ProxylessNAS. We also show that the use of these latency predictors match the NAS performance of the lookup table baseline approach if not exceeding it in certain cases.

연구 동기 및 목표

• 각 플랫폼에 맞게 수작업으로 校정이 필요한 OFA의 하드웨어에 종속적인 지연 시간 룩업 테이블의 일반화 능력 부족 문제를 해결한다.
• NAS에서 새로운 하드웨어 플랫폼에 대한 지연 시간 룩업 테이블을 구축하는 데 드는 계산 비용과 인적 자원 비용을 줄인다.
• CNN 모델의 다중 플랫폼 배포를 지원하기 위해 Once-For-All NAS에서 효율적이고 하드웨어에 종속되지 않는 지연 시간 추정을 가능하게 한다.
• 다양한 하드웨어 구성에서 높은 정확도를 유지하는 확장 가능한, 학습 가능한 지연 시간 예측 프레임워크를 개발한다.
• 학습된 지연 시간 예측기가 전통적인 룩업 테이블 기반 NAS의 성능을 따라하거나 초월할 수 있으며, 학습 오버헤드를 최소화할 수 있음을 입증한다.

제안 방법

• CNN 레이어 구성과 측정된 지연 시간의 데이터셋을 사용하여 특정 하드웨어 플랫폼(예: 삼성 노트 10)에서 기본 지연 시간 예측기 모델을 학습한다.
• 작은, 집중적인 데이터셋(전체 학습 데이터의 80퍼센트 미만)을 사용하여 기존 모델을 새로운 하드웨어 플랫폼에 맞게 미세조정한다.
• GPU 일반화 전략을 도입하여 GPU 하드웨어 파라미터(코어 수, RAM 크기, 메모리 대역폭 등)를 입력 특성으로 사용하는 지연 시간 예측기를 학습한다.
• 전이 학습과 아키텍처 적응을 통해 여러 하드웨어 플랫폼에 일반화되는 통합 지연 시간 예측 모델을 구축한다.
• 학습된 지연 시간 예측기를 NAS 검색 루프 내 성능 평가기로 사용하여, 룩업 테이블 대신 효율적인 아키텍처 평가를 가능하게 한다.
• 네 가지 하드웨어 플랫폼(삼성 갤럭시 노트 10, 인텔 Xeon CPU, RTX 2080 Ti GPU, 테슬라 P40 GPU)에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 각각의 플랫폼에 맞는 룩업 테이블이 필요 없이, 단일 지연 시간 예측기가 다양한 하드웨어 플랫폼에 효과적으로 일반화될 수 있는가?
• RQ2 기존 모델을 새로운 하드웨어 플랫폼에 대해 미세조정하는 것과 완전히 새로 학습하는 것 사이의 정확도 및 데이터 효율성은 어떻게 비교되는가?
• RQ3 코어 수, 메모리 대역폭 등 GPU 파라미터를 기반으로 학습된 지연 시간 예측기는 다양한 GPU 모델 간에 얼마나 잘 일반화되는가?
• RQ4 NAS에서 학습된 지연 시간 예측기를 사용할 경우, 기준 룩업 테이블 기반 방법 대비 모델 정확도나 검색 효율성이 떨어지는가?
• RQ5 전이 학습을 지연 시간 추정에 적용할 때, 예측 정확도(RMSE)와 데이터 효율성 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 지연 시간 예측기는 ProxylessNAS 기준 대비 50퍼센트 이상 낮은 RMSE를 달성하여, 훨씬 높은 예측 정확도를 입증한다.
• 원래 데이터셋의 20퍼센트만으로 학습된 미세조정 모델이 하드웨어에 종속적인 룩업 테이블 수준의 성능을 달성하며, 데이터 및 학습 오버헤드를 크게 줄인다.
• 미세조정된 지연 시간 예측기는 룩업 테이블 기준 대비 성능을 따라하거나 초월하며, 모델 정확도나 검색 효율성에 하락이 없음을 확인했다.
• GPU 일반화 전략을 통해 하나의 모델이 하드웨어 구성 정보를 입력으로 사용하여 여러 종류의 GPU에서 지연 시간을 예측할 수 있어, 각 GPU에 대한 수작업 校정이 필요로 하는 것을 줄였다.
• RTX 2080 Ti에서, 미세조정된 지연 시간 예측기는 특정 지연 시간 제약 조건 하에서 룩업 테이블 및 직접 측정 방법을 모두 초월하는 성능을 보이며, 더 높은 강건성을 입증했다.
• 이 프레임워크는 각 하드웨어 플랫폼에 대한 수작업 지연 시간 측정이 필요 없이 효율적인 다중 플랫폼 NAS를 가능하게 하여, CO2 배출량과 GPU 시간을 극적으로 감소시켰다.