[论文解读] Dynamically Throttleable Neural Networks (TNN)

Hengyue Liu, Samyak Parajuli+3 more|arXiv (Cornell University)|Nov 1, 2020

Advanced Neural Network Applications参考文献 47被引用 4

一句话总结

本文提出动态可调节神经网络（TNN），一种运行时自适应框架，通过单一利用率控制参数使深度神经网络能够自主调节性能与资源使用。通过在运行时使用丢弃正则化并解耦上下文感知控制器，TNN 在图像和视频分类任务中实现了高达74%的延迟降低和52%的能效提升，同时保持峰值准确率。

ABSTRACT

Conditional computation for Deep Neural Networks (DNNs) reduce overall computational load and improve model accuracy by running a subset of the network. In this work, we present a runtime throttleable neural network (TNN) that can adaptively self-regulate its own performance target and computing resources. We designed TNN with several properties that enable more flexibility for dynamic execution based on runtime context. TNNs are defined as throttleable modules gated with a separately trained controller that generates a single utilization control parameter. We validate our proposal on a number of experiments, including Convolution Neural Networks (CNNs such as VGG, ResNet, ResNeXt, DenseNet) using CiFAR-10 and ImageNet dataset, for object classification and recognition tasks. We also demonstrate the effectiveness of dynamic TNN execution on a 3D Convolustion Network (C3D) for a hand gesture task. Results show that TNN can maintain peak accuracy performance compared to vanilla solutions, while providing a graceful reduction in computational requirement, down to 74% reduction in latency and 52% energy savings.

研究动机与目标

• 解决静态深度神经网络在资源约束波动的现实环境中效率低下的问题。
• 通过实现网络拓扑的运行时自适应，克服模型准确率与计算效率之间的权衡。
• 将控制器与主网络解耦，以支持灵活、面向应用的可调节策略。
• 通过单一标量利用率参数实现高效、低开销的条件计算。
• 通过实际功耗和延迟测量，证明在嵌入式系统中动态调节的实际可行性。

提出的方法

• 将 TNN 模块设计为可训练的、基于滤波器的模块，可在推理过程中条件性地激活或去激活。
• 使用单一依赖输入的利用率参数 $u$ 来控制 TNN 模块，实现灵活且低复杂度的控制。
• 在不同 $u$ 水平下使用运行时丢弃训练 TNN，以正则化网络并确保在各种可调节点的鲁棒性。
• 将控制器与 TNN 架构解耦，使任何策略——规则基础或可学习的（如通过强化学习）——均可生成 $u$。
• 实现一个上下文感知控制器，根据输入上下文（如电池电量或环境条件）选择最优可调节水平。
• 使用基于数据的控制器，通过强化学习或上下文Bandits训练，以优化 $u$ 以满足应用级性能指标。

实验结果

研究问题

• RQ1 单一可学习的利用率参数是否能够在多种推理工作负载下实现有效且高效的深度神经网络动态可调节？
• RQ2 TNN 在实际部署场景中如何在降低计算负载和能耗的同时保持高准确率？
• RQ3 与固定可调节或简单门控策略相比，解耦的上下文感知控制器能在多大程度上提升性能？
• RQ4 TNN 是否可有效应用于图像和视频任务，包括具有时间动态性的任务？
• RQ5 在嵌入式硬件上部署 TNN 时，通过实时测量，其在延迟和能效方面能带来多大的实际收益？

主要发现

• TNN 在所有可调节水平下均保持与原始 DNN 相当的峰值准确率，包括在 ImageNet 和 CIFAR-10 上实现 74% 延迟降低和 52% 能耗节省。
• TNN 框架实现了可调节程度增加时的平稳性能退化，即使在高丢弃水平下也避免了灾难性准确率损失。
• 通过强化学习训练的上下文感知控制器在 3D CNN 手势识别任务中，优于原始架构和所有固定利用率设置。
• 在嵌入式 GPU 上的实际测量结果证实了 TNN 的实用性，显示出运行时间和功耗的显著降低。
• 单参数控制机制使 TNN 能够无缝集成各种控制策略，包括启发式规则和可学习控制器。
• TNN 的设计支持在 VGG、ResNet、ResNeXt 和 DenseNet 等多种架构中即插即用式部署可调节模块。