[논문 리뷰] EH-DNAS: End-to-End Hardware-aware Differentiable Neural Architecture Search

Qian Jiang, Xiaofan Zhang외 3명|arXiv (Cornell University)|2021. 11. 24.

Advanced Neural Network Applications참고 문헌 43인용 수 5

한 줄 요약

EH-DNAS는 종단간 하드웨어 지연을 예측할 수 있는 미분 가능 모델을 학습하여 하드웨어 성능 벤치마킹을 미분 가능 아키텍처 검색과 통합하는 종단간 하드웨어 인식 가능한 미분 가능 신경망 아키텍처 검색 프레임워크를 제안한다. 이는 맞춤형 가속기와 기존 하드웨어 플랫폼에서 각각 평균 1.4배 및 1.6배의 하드웨어 성능 향상을 달성하면서 분류 정확도를 유지한다.

ABSTRACT

In hardware-aware Differentiable Neural Architecture Search (DNAS), it is challenging to compute gradients of hardware metrics to perform architecture search. Existing works rely on linear approximations with limited support to customized hardware accelerators. In this work, we propose End-to-end Hardware-aware DNAS (EH-DNAS), a seamless integration of end-to-end hardware benchmarking, and fully automated DNAS to deliver hardware-efficient deep neural networks on various platforms, including Edge GPUs, Edge TPUs, Mobile CPUs, and customized accelerators. Given a desired hardware platform, we propose to learn a differentiable model predicting the end-to-end hardware performance of neural network architectures for DNAS. We also introduce E2E-Perf, an end-to-end hardware benchmarking tool for customized accelerators. Experiments on CIFAR10 and ImageNet show that EH-DNAS improves the hardware performance by an average of $1.4 imes$ on customized accelerators and $1.6 imes$ on existing hardware processors while maintaining the classification accuracy.

연구 동기 및 목표

• 다양한 하드웨어 플랫폼에서 실제 하드웨어 성능 피드백을 미분 가능 신경망 아키텍처 검색(DNAS)에 통합하는 문제를 해결하기 위해.
• 실제 하드웨어 지연과 상관관계가 낮은 선형 근사 및 프록시 지표(예: FLOPS, 파라미터 수)의 한계를 극복하기 위해.
• 비표준 메모리 및 계산 패턴을 가진 맞춤형 가속기에서도 효과적인 아키텍처 검색을 가능하게 하기 위해.
• 일반형 및 파이프라인 기반 가속기 아키텍처 패러다임을 모두 지원하는 확장 가능한, 미분 가능한 하드웨어 손실 함수를 개발하기 위해.
• CIFAR10 및 ImageNet과 같은 벤치마크 데이터셋에서 모델 정확도를 희생시키지 않은 채 높은 하드웨어 효율성을 달성하기 위해.

제안 방법

• 맞춤형 가속기에서 신경망 아키텍처의 종단간 추론 지연을 측정하는 하드웨어 벤치마킹 툴인 E2E-Perf를 제안하여 정확한 성능 데이터 수집을 가능하게 한다.
• 아키텍처에 대한 하드웨어 성능를 근사화하는 미분 가능한 함수 $\mathcal{F}_\phi$를 학습하여 DNAS에서 기울기 기반 최적화를 가능하게 한다.
• 학습된 하드웨어 손실 $\mathcal{L}_{\text{hw}}(\mathbf{a}) = \mathcal{F}_\phi(\mathbf{a})$를 종단간 DNAS 학습 목표함수에 직접 통합하여 정확도와 하드웨어 효율성의 동시 최적화를 실현한다.
• 각 레이어와 가속기 유형 간의 복잡한 비선형 하드웨어 성능 관계를 모델링하기 위해 가중치 학습이 가능한 임bedding을 갖춘 딥 네트워크를 사용한다.
• 두 단계 파이프라인을 활용한다: 첫 번째로 E2E-Perf를 통해 하드웨어 성능 데이터를 수집하고, 두 번째로 종단간 DNAS 전에 미분 가능한 하드웨어 손실 모델을 훈련시킨다.
• 기존 선형 근사 방법보다 더 넓은 하드웨어 호환성을 확보하기 위해 일반형 및 파이프라인 기반 가속기 아키텍처 패러다임을 모두 지원한다.

실험 결과

연구 질문

• RQ1 종단간 하드웨어 측정에서 유의미하게 학습된 미분 가능한 하드웨어 손실 함수가 DNAS를 안내하는 데 효과적인가?
• RQ2 제안된 EH-DNAS 프레임워크는 LUT 기반 및 프록시 기반 방법에 비해 하드웨어 성능 추정 정확도에서 어떻게 비교되는가?
• RQ3 EH-DNAS는 모델 정확도를 유지하면서 맞춤형 가속기에서 하드웨어 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 EH-DNAS는 엣지 GPU, 엣지 TPU, 모바일 CPU 및 맞춤형 가속기와 같은 다양한 하드웨어 플랫폼으로 일반화되는가?
• RQ5 학습된 하드웨어 손실의 모델 복잡도는 추정 정확도와 검색 성능에 어떤 영향을 미치는가?

주요 결과

• EH-DNAS는 맞춤형 가속기에서 평균 1.4배, 기존 하드웨어 프로세서(엣지 GPU, 엣지 TPU, 모바일 CPU)에서 평균 1.6배의 하드웨어 성능 향상을 달성하면서 분류 정확도를 유지한다.
• 제안된 미분 가능한 하드웨어 손실은 맞춤형 가속기에서 평균 추정 오차율 3.6%를 기록하여 LUT 기반 방법의 32.5% 오차율보다 유의미하게 낮게 유지한다.
• 라즈베리 파이 4와 페어스널 3와 같은 모바일 플랫폼에서는 각각 오차율을 38.0%와 48.4%로 줄여, 운영체제 및 메모리 병목 현상으로 인한 고분산 오차를 겪는 LUT보다 뛰어난 성능을 보인다.
• LUT 기반 방법이 레이어 복잡도를 줄여 과도하게 단순화하는 경향이 있는 것과 달리, EH-DNAS는 더 복잡하고 효율적인 아키텍처를 발견한다.
• 제거 실험 결과, 하드웨어 손실 모델에서 임bedding 크기 10이 복잡도와 정확도 사이의 최적의 균형을 이룹니다. 이 경우 오차율은 3.6%이다.
• 하드웨어 손실 가중치 하이퍼파rameter $\beta$를 조정함으로써 EH-DNAS는 정확도가 1% 이내로 감소하는 조건에서 하드웨어 성능을 2배 향상시킬 수 있으며, 이는 높은 효율-정확도 트레이드오프를 보여준다.