[논문 리뷰] AutoQB: AutoML for Network Quantization and Binarization on Mobile Devices.

Qian Lou, Lantao Liu외 2명|arXiv (Cornell University)|2019. 02. 15.

Advanced Computing and Algorithms인용 수 12

한 줄 요약

AutoQB는 모바일 DNN용 채널 수준의 양자화 및 이진화를 자동화하는 계층적 딥 강화 학습 프레임워크입니다. 기존 DRL 방법 대비 계산 오버헤드를 79% 줄이며, 유사하거나 더 높은 추론 정확도를 달성합니다. 이는 모바일 디바이스에서 모델 정확도와 계산 비용을 동시에 최적화함으로써 하드웨어 효율적인 배포를 가능하게 합니다.

ABSTRACT

In this paper, we propose a hierarchical deep reinforcement learning (DRL)-based AutoML framework, AutoQB, to automatically explore the design space of channel-level network quantization and binarization for hardware-friendly deep learning on mobile devices. Compared to prior DDPG-based quantization techniques, on the various CNN models, AutoQB automatically achieves the same inference accuracy by $\sim79\%$ less computing overhead, or improves the inference accuracy by $\sim2\%$ with the same computing cost.

연구 동기 및 목표

• 모바일 DNN용 효율적인 양자화 및 이진화 기법을 수동으로 설계하는 문제에 대응하기 위해.
• 자원이 제한된 모바일 디바이스에서 딥 네트워크의 높은 계산 비용을 줄이기 위해.
• 채널 수준의 양자화 및 이진화의 복잡한 설계 공간 탐색을 자동화하기 위해.
• 모바일 하드웨어에서 최소한의 계산 오버헤드로 높은 추론 정확도를 달성하기 위해.
• 압축 모델의 모바일 배포에 특화된 하드웨어 우수한 AutoML 프레임워크를 개발하기 위해.

제안 방법

• AutoQB는 채널 수준의 양자화 및 이진화 설계 공간을 탐색하기 위해 계층적 딥 강화 학습(DRL) 프레임워크를 활용합니다.
• 이 프레임워크는 이중 수준의 액션 공간을 사용합니다: 하나는 채널별로 양자화 비트 폭을 선택하는 데 사용되고, 다른 하나는 특정 채널을 이진화하는 데 사용됩니다.
• DRL 에이전트를 활용하여 정확도와 계산 비용을 균형 잡는 최적의 양자화 정책을 학습합니다.
• 이 방법은 하드웨어 인식 설계를 고려하여 메모리 및 계산 제약 조건을 고려한 모바일 디바이스에 최적화되어 있습니다.
• 정확도와 추론 효율성 양쪽을 동시에 최적화함으로써 기존 DDPG 기반 접근법보다 뛰어난 성능을 발휘합니다.
• 수동적인 하이퍼파라미터 튜닝 없이도 모델 압축의 엔드 투 엔드 자동화를 가능하게 합니다.

실험 결과

연구 질문

• RQ1 계층적 DRL 프레임워크는 모바일 DNN용 효율적인 채널 수준의 양자화 및 이진화 정책을 자동으로 발견할 수 있는가?
• RQ2 AutoQB는 기존 DDPG 기반의 양자화 방법과 비교해 계산 오버헤드와 정확도 측면에서 어떻게 다른가?
• RQ3 AutoQB는 모바일 디바이스에서 모델 정확도를 유지하면서 추론 비용을 얼마나 줄일 수 있는가?
• RQ4 성능을 희생시키지 않고도 프레임워크는 하드웨어 우수한 모델 압축을 달성할 수 있는가?

주요 결과

• AutoQB는 기존 DDPG 기반의 양자화 기법과 비교해 계산 오버헤드를 약 79% 감소시키며 동일한 추론 정확도를 유지합니다.
• 동일한 계산 비용 조건에서 AutoQB는 다양한 CNN 모델에서 추론 정확도를 약 2% 향상시킵니다.
• 이 프레임워크는 채널 수준의 양자화 및 이진화 탐색을 성공적으로 자동화하여 수동 설계를 제거합니다.
• 계층적 DRL 접근법은 모델 압축의 고차원 설계 공간에서 효율적이고 효과적인 탐색을 가능하게 합니다.
• AutoQB는 다양한 CNN 아키텍처에 걸쳐 강력한 일반화 능력을 보이며, 모델 변형에 대비한 안정성을 입증합니다.
• 이 방법은 하드웨어 우수한 모델 압축을 달성하여 모바일 디바이스에의 배포에 적합합니다.