[논문 리뷰] Hardware Aware Neural Network Architectures using FbNet

Sai Vineeth Kalluru Srinivas, Harideep Nair외 1명|arXiv (Cornell University)|2019. 06. 17.

Advanced Neural Network Applications참고 문헌 6인용 수 4

한 줄 요약

이 논문은 라즈베리 파이와 같은 대상 기기에서 정확도, 지연 시간, 에너지 소비를 동시에 최적화하는 가시성 있는 신경망 아키텍처 탐색(NAS) 방법인 HANNA(Hardware Aware Neural Network Architecture)를 제안한다. FBNet의 손실 함수에 에너지 항을 추가함으로써 HANNA는 작고 효율적인 모델을 발견하며, MobileNetv2 대비 2.5배 빠른 속도와 3.8배 낮은 에너지 소비를 달성하면서 정확도는 4–5% 감소에 그친다.

ABSTRACT

We implement a differentiable Neural Architecture Search (NAS) method inspired by FBNet for discovering neural networks that are heavily optimized for a particular target device. The FBNet NAS method discovers a neural network from a given search space by optimizing over a loss function which accounts for accuracy and target device latency. We extend this loss function by adding an energy term. This will potentially enhance the ``hardware awareness" and help us find a neural network architecture that is optimal in terms of accuracy, latency and energy consumption, given a target device (Raspberry Pi in our case). We name our trained child architecture obtained at the end of search process as Hardware Aware Neural Network Architecture (HANNA). We prove the efficacy of our approach by benchmarking HANNA against two other state-of-the-art neural networks designed for mobile/embedded applications, namely MobileNetv2 and CondenseNet for CIFAR-10 dataset. Our results show that HANNA provides a speedup of about 2.5x and 1.7x, and reduces energy consumption by 3.8x and 2x compared to MobileNetv2 and CondenseNet respectively. HANNA is able to provide such significant speedup and energy efficiency benefits over the state-of-the-art baselines at the cost of a tolerable 4-5% drop in accuracy.

연구 동기 및 목표

• 엣지 기기에서 성능과 하드웨어 제약 조건을 동시에 고려하는 신경망 아키텍처 탐색 방법을 개발하기 위해.
• 최신 기술 모델들이 모바일 및 임베디드 플랫폼에서 높은 지연 시간과 에너지 소비를 초래함에도 불구하고 정확도를 우선시하는 한계를 해결하기 위해.
• 기존 NAS 프레임워크를 확장하여 에너지 소비를 탐색 손실 함수의 핵심 목표로 통합하기 위해.
• 모델 압축이나 하드웨어 튜닝 전문 지식 없이도 자동으로 효율적이고 기기별 맞춤형 모델 생성을 가능하게 하기 위해.
• 정확도, 지연 시간, 에너지 소비를 동시에 최적화하는 것이 저전력 기기인 라즈베리 파이와 같은 실세계 환경에서 뛰어난 성능을 발휘할 수 있음을 입증하기 위해.

제안 방법

• HANNA는 FBNet의 가시성 있는 NAS 프레임워크를 확장하여 손실 함수에 에너지 항을 도입함으로써 정확도, 지연 시간, 에너지 소비를 동시에 최적화할 수 있도록 한다.
• 손실 함수는 정확도, 지연 시간, 에너지 항의 가중치 합으로 구성되며, 이는 정확도, 지연 시간, 에너지 소비 간의 트레이드오프를 제어하는 학습 가능한 초매개변수 α, β, γ, δ를 포함한다.
• 컨트롤러 아키텍처는 검색 공간에서 자식 네트워크를 샘플링하고, 프록시 데이터셋을 사용해 훈련하며, 대상 기기(Raspberry Pi)에서 지연 시간과 에너지 지표를 평가한다.
• 검색 과정은 아키텍처 공간의 연속적 리프레젠테이션을 기반으로 한 기울기 기반 최적화를 사용하여 엔드 투 엔드 훈련과 효율적인 아키텍처 탐색을 가능하게 한다.
• 최종 HANNA 모델은 학습된 매개변수(θ)에서 가장 확률이 높은 아키텍처를 샘플링하여 생성되며, 이후 타깃 기기에서 미세조정 및 배포된다.
• 웹 인터페이스를 구현하여 사용자가 초매개변수와 기기 룩업 테이블을 입력할 수 있도록 하여 백엔드 NAS 훈련을 통한 자동 HANNA 모델 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처 탐색에서 정확도, 지연 시간, 에너지 소비를 동시에 최적화하면 저전력 엣지 기기에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 다양한 트레이드오프 가중치(α, β, γ, δ)는 결과 모델의 지연 시간과 에너지 소비에 어떤 영향을 미치는가?
• RQ3 NAS 손실 함수에 에너지 항을 추가하면 정확도를 희생시키지 않고도 에너지 효율성을 크게 향상시킬 수 있는가?
• RQ4 가시성 있는 NAS 접근 방식이 MobileNetv2와 CondenseNet과 같은 최신 모바일 최적화 네트워크를 능가하는 작고 하드웨어 인지 모델을 효과적으로 탐색할 수 있는가?
• RQ5 검색 과정을 얼마나 자동화하고 사용자 우아한 인터페이스로 추상화할 수 있을까? 이는 비전문가가 타깃 하드웨어에 쉽게 배포할 수 있도록 할 수 있는가?

주요 결과

• HANNA는 라즈베리 파이에 배포되었을 때 CIFAR-10 데이터셋에서 MobileNetv2 대비 2.5배 빠른 속도, CondenseNet 대비 1.7배 빠른 속도를 기록한다.
• HANNA는 MobileNetv2 대비 3.8배 낮은 에너지 소비, CondenseNet 대비 2배 낮은 에너지 소비를 기록하여 뚜렷한 에너지 효율성 향상을 입증한다.
• 속도 및 에너지 소비 향상에도 불구하고, HANNA는 MobileNetv2 및 CondenseNet 대비 정확도가 4–5% 감소할 뿐이며, 이는 엣지 배포에 대해 용인 가능한 수준이다.
• 지연 시간 지배도 지표는 β(지수 인자)를 증가시키는 것이 α(乗법 인자)를 증가시키는 것보다 지연 시간 감소에 더 효과적임을 보여준다.
• 에너지 지배도 지표는 δ(에너지 항에 대한 가중치)를 증가시키면 에너지 소비가 뚜렷이 감소하며, 특히 모델 12가 3 J로 가장 낮은 에너지 소비를 기록한다.
• 웹 기반 HANNA 모델 생성기 덕분에 비전문가 사용자도 초매개변수와 기기 룩업 테이블을 지정함으로써 최적화된 모델을 생성할 수 있었으며, 실용적인 배포 가능성은 입증되었다.