[论文解读] AutoQB: AutoML for Network Quantization and Binarization on Mobile Devices.

Qian Lou, Lantao Liu+2 more|arXiv (Cornell University)|Feb 15, 2019

Advanced Computing and Algorithms被引用 12

一句话总结

AutoQB 是一种分层深度强化学习框架，可自动实现移动 DNN 的通道级量化与二值化，在计算开销比先前的 DRL 方法减少 79% 的情况下，实现相当或更优的推理精度。该框架通过联合优化移动设备上的模型精度与计算成本，实现硬件高效的模型部署。

ABSTRACT

In this paper, we propose a hierarchical deep reinforcement learning (DRL)-based AutoML framework, AutoQB, to automatically explore the design space of channel-level network quantization and binarization for hardware-friendly deep learning on mobile devices. Compared to prior DDPG-based quantization techniques, on the various CNN models, AutoQB automatically achieves the same inference accuracy by $\sim79\%$ less computing overhead, or improves the inference accuracy by $\sim2\%$ with the same computing cost.

研究动机与目标

• 为解决手动设计高效量化与二值化方案以用于移动 DNN 的挑战。
• 降低在资源受限的移动设备上深度神经网络的高计算成本。
• 自动化探索通道级量化与二值化的复杂设计空间。
• 在移动硬件上以最小计算开销实现高推理精度。
• 开发一种面向压缩模型在移动设备上部署的硬件友好型 AutoML 框架。

提出的方法

• AutoQB 采用分层深度强化学习（DRL）框架，搜索通道级量化与二值化的设计空间。
• 该框架采用两级动作空间：一级用于按通道选择量化位宽，另一级用于对特定通道进行二值化。
• 它利用 DRL 智能体学习最优量化策略，以在精度与计算成本之间实现平衡。
• 该方法设计为硬件感知，针对移动设备的内存与计算约束进行优化。
• 通过联合优化精度与推理效率，其性能优于先前基于 DDPG 的方法。
• 该框架实现了无需手动调整超参数的端到端模型压缩自动化。

实验结果

研究问题

• RQ1 分层 DRL 框架能否自动发现适用于移动 DNN 的高效通道级量化与二值化策略？
• RQ2 与先前基于 DDPG 的量化方法相比，AutoQB 在计算开销与精度方面表现如何？
• RQ3 AutoQB 在保持模型精度的前提下，能在多大程度上降低推理成本？
• RQ4 该框架能否在不牺牲性能的前提下实现硬件友好的模型压缩？

主要发现

• 与先前基于 DDPG 的量化技术相比，AutoQB 将计算开销减少了约 79%，同时保持了相同的推理精度。
• 在计算成本相同的情况下，AutoQB 在多种 CNN 模型上将推理精度提升了约 2%。
• 该框架成功实现了通道级量化与二值化的自动化探索，消除了手动设计的需要。
• 分层 DRL 方法能够在高维模型压缩设计空间中实现高效且有效的搜索。
• AutoQB 在不同 CNN 架构上表现出强大的泛化能力，表明其对模型差异具有鲁棒性。
• 该方法实现了硬件友好的模型压缩，使其适用于移动设备上的部署。