[논문 리뷰] Design Automation for Efficient Deep Learning Computing

Song Han, Han Cai외 5명|arXiv (Cornell University)|2019. 04. 24.

Advanced Neural Network Applications참고 문헌 15인용 수 16

한 줄 요약

이 논문은 강화학습을 통해 효율적인 딥 뉴럴 네트워크의 설계를 자동화하는 하드웨어 중심의 AutoML 프레임워크를 제안한다. 이는 신경망 아키텍처의 자동 특화, 채널 프루닝, 혼합 정밀도 양자화를 가능하게 하며, 설계 시간을 200배 감소시키고, 규칙 기반 인간 설계 대비 뛰어난 추론 속도와 에너지 효율성을 달성한다. 모바일 디바이스에서는 1.8배 빠른 추론 속도를, 엣지 가속기에서는 1.95배의 지연 감소를 기록한다.

ABSTRACT

Efficient deep learning computing requires algorithm and hardware co-design to enable specialization: we usually need to change the algorithm to reduce memory footprint and improve energy efficiency. However, the extra degree of freedom from the algorithm makes the design space much larger: it's not only about designing the hardware but also about how to tweak the algorithm to best fit the hardware. Human engineers can hardly exhaust the design space by heuristics. It's labor consuming and sub-optimal. We propose design automation techniques for efficient neural networks. We investigate automatically designing specialized fast models, auto channel pruning, and auto mixed-precision quantization. We demonstrate such learning-based, automated design achieves superior performance and efficiency than rule-based human design. Moreover, we shorten the design cycle by 200x than previous work, so that we can afford to design specialized neural network models for different hardware platforms.

연구 동기 및 목표

• 알고리즘과 하드웨어 공동 설계가 필수적이지만 수동으로 탐색하기 어려운, 효율적인 딥러닝 모델 설계에서 큰 크기의 비구조화된 설계 공간 문제를 해결한다.
• 다양한 하드웨어 플랫폼에 대해 최적화되지 않은 전문 지식이 필요한 규칙 기반 히우리스틱의 한계를 극복한다.
• 지연, 에너지, 메모리 프로파일 측면에서 최적화된 하드웨어 특화 신경망의 체계적이고 자동화된 설계를 가능하게 한다.
• 수동 튜닝을 학습 기반의 이식 가능한 자동화 파이프라인으로 대체하여 효율적인 모델 설계의 비용과 시간을 줄인다.

제안 방법

• 하드웨어 시뮬레이터의 피드백을 활용해 강화학습(RL)을 통해 신경망 아키텍처, 채널 프루닝, 혼합 정밀도 양자화를 동시에 최적화한다.
• 신경망 아키텍처 검색의 탐색 비용을 두 배수 감소시키기 위해 경로 수준의 프루닝과 경로 수준의 바이너리화를 도입하여 ImageNet에서 효율적인 탐색을 가능하게 한다.
• 학습 가능한 아키텍처 파라미터(예: 경로 확률)를 사용해 CNN 블록에 대해 미분 가능 설계 공간을 설계하여 모델 구조의 기울기 기반 최적화를 가능하게 한다.
• 하드웨어 제약 조건(지연, 에너지, 메모리)을 기반으로 각 레이어에 대해 비트폭을 동적으로 할당하는 하드웨어 인식 양자화(HAQ) 프레임워크를 구현하며, 자원 예산 하에서 성능 최적화를 위해 RL을 사용한다.
• 설계 결정을 해석하기 위해 룕프라인 모델을 사용하여, 대상 하드웨어의 연산 강도와 메모리 대역폭 특성에 따라 비트폭 할당을 안내한다.
• 한 네트워크(예: MobileNet-V1)에서 훈련된 RL 정책을 다른 네트워크(예: MobileNet-V2)로 이식하여, 최소한의 재학습으로 새로운 모델에 빠르게 구현할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 다양한 하드웨어 플랫폼에서 효율적인 딥러닝 모델을 설계하는 데 있어 자동화된 학습 기반 설계가 규칙 기반 히우리스틱을 능가할 수 있는가?
• RQ2 신경망 아키텍처, 프루닝, 양자화의 설계 공간을 스케일링하여 하드웨어 인식 최적화를 효율적으로 탐색할 수 있는가?
• RQ3 하나의 RL 에이전트가 다양한 신경망 아키텍처 간에 학습한 양자화 정책을 얼마나 잘 일반화할 수 있는가?
• RQ4 엣지 디바이스와 클라우드 가속기 간 최적의 양자화 정책는 어떻게 다른가? 하드웨어 피드백은 더 나은 설계 결정을 이끌 수 있는가?
• RQ5 자동화된 설계가 설계 사이클 시간을 수십 배에서 수백 배 감소시키며, 모델 효율성을 유지하거나 향상시킬 수 있는가?

주요 결과

• 제안된 자동 설계 프레임워크는 이전 연구 대비 설계 사이클을 200배 이상 단축시켜 하드웨어 특화 모델의 빠른 탐색을 가능하게 한다.
• 모바일 디바이스에서 자동으로 탐색된 모델은 최고의 인간 설계 모델 대비 1.8배 더 빠른 속도를 기록하여 뛰어난 효율성을 입증한다.
• 자동 채널 프루닝 파이프라인은 안드로이드 폰에서 추론 지연을 1.81배 빠르게 하고, Titan XP GPU에서는 1.43배 빠르게 하였으며, ImageNet에서 정확도 손실은 0.1%에 불과했다.
• 하드웨어 인식 양자화(HAQ)는 고정 8비트 양자화 대비 지연을 1.4~1.95배 감소시키고 에너지 소비를 1.9배 감소시켰으며, 정확도 손실은 거의 없었다.
• RL 에이전트의 양자화 정책은 잘 일반화되었다: MobileNet-V1에서 MobileNet-V2로 정책을 이식할 경우, 새로운 아키텍처를 직접 탐색한 결과와 1% 이내의 성능를 기록했다.
• 루프라인 모델 분석 결과, 엣지 디바이스는 높은 메모리 액세스 레이어(예: 디스티즈 컨볼루션)에 대해 낮은 비트폭을 선호하는 반면, 클라우드 가속기는 더 높은 메모리 대역폭 덕분에 이러한 레이어에 대해 높은 비트폭을 허용할 수 있었다.