[论文解读] Dynamic Neural Networks: A Survey

Yizeng Han, Gao Huang+4 more|arXiv (Cornell University)|Feb 9, 2021

Advanced Neural Network Applications参考文献 267被引用 40

一句话总结

本综述将动态神经网络分为样本维、空间维和时间维三类，并评述架构设计、决策策略、训练技术、应用及未来方向。

ABSTRACT

Dynamic neural network is an emerging research topic in deep learning. Compared to static models which have fixed computational graphs and parameters at the inference stage, dynamic networks can adapt their structures or parameters to different inputs, leading to notable advantages in terms of accuracy, computational efficiency, adaptiveness, etc. In this survey, we comprehensively review this rapidly developing area by dividing dynamic networks into three main categories: 1) instance-wise dynamic models that process each instance with data-dependent architectures or parameters; 2) spatial-wise dynamic networks that conduct adaptive computation with respect to different spatial locations of image data and 3) temporal-wise dynamic models that perform adaptive inference along the temporal dimension for sequential data such as videos and texts. The important research problems of dynamic networks, e.g., architecture design, decision making scheme, optimization technique and applications, are reviewed systematically. Finally, we discuss the open problems in this field together with interesting future research directions.

研究动机与目标

• 概述动态神经网络及其相对于静态模型的优势。
• 按粒度（样本级、空间级、时间级）对动态网络进行分类。
• 概述体系结构设计、决策策略、优化技术及应用。
• 讨论动态网络中的未解问题及未来研究方向。

提出的方法

• 将动态网络分为三种粒度：样本级、空间级和时间级。
• 系统性地评述体系结构设计选择（深度、宽度、路由）以及动态参数机制（调整、生成和软注意力）。
• 描述决策方案（提前退出、门控、专家门控MoE、动态路由）和训练考量。
• 综合视觉与语言任务中的应用，并关联计算机视觉与自然语言处理的发展。

实验结果

研究问题

• RQ1 动态神经网络的主要类别及其定义特征是什么？
• RQ2 哪些决策策略和训练技巧能够实现有效的动态推理？
• RQ3 跨领域的动态网络的常见应用及现实考虑因素有哪些？
• RQ4 为动态网络识别出的开放问题和未来方向有哪些？

主要发现

• 动态网络通过对简单样本或信息丰富的位置自适应分配计算可以提高效率。
• 动态体系结构与参数在成本适度增加的情况下扩展了表示能力。
• 自适应推理在不同平台上实现了准确性与计算预算之间的更好权衡。
• 与现有技术（神经架构搜索NAS、剪枝、量化、蒸馏）高度兼容，且在视觉和语言任务中的适用性广泛。
• 通过观察给定输入激活的组件，解释性提升可能出现。
• 所综述的方法提供了一个对多样化方法（提前退出、专家-门控、动态路由、门控和参数预测）的一致视角。