[论文解读] Dynamic Capacity Networks

Amjad Almahairi, Nicolas Ballas+4 more|arXiv (Cornell University)|Nov 24, 2015

Advanced Neural Network Applications参考文献 27被引用 8

一句话总结

本文提出动态容量网络（DCN），一种基于梯度的硬注意力机制神经网络，可自适应地将高容量计算分配给与任务相关的输入区域。通过结合低容量子网络进行全局推理和高容量子网络仅对选定区域进行处理，DCN在保持SOTA性能的同时，将计算成本降低了高达80%，并在杂乱MNIST和SVHN数据集上表现优异，即使在缺乏数字位置先验知识的情况下亦如此。

ABSTRACT

We introduce the Dynamic Capacity Network (DCN), a neural network that can adaptively assign its capacity across different portions of the input data. This is achieved by combining modules of two types: low-capacity sub-networks and high-capacity sub-networks. The low-capacity sub-networks are applied across most of the input, but also provide a guide to select a few portions of the input on which to apply the high-capacity sub-networks. The selection is made using a novel gradient-based attention mechanism, that efficiently identifies input regions for which the DCN's output is most sensitive and to which we should devote more capacity. We focus our empirical evaluation on the Cluttered MNIST and SVHN image datasets. Our findings indicate that DCNs are able to drastically reduce the number of computations, compared to traditional convolutional neural networks, while maintaining similar or even better performance.

研究动机与目标

• 为解决深度神经网络中计算分配不均的问题，即所有输入区域均以相同容量处理，尽管信息分布不均。
• 开发一种条件计算机制，动态仅在相关输入区域分配高容量子网络，从而降低推理成本。
• 在训练数据为标准化格式但测试数据存在噪声或杂乱的迁移学习场景中实现有效性能，例如SVHN中的情况。
• 通过反向传播端到端训练注意力机制，无需强化学习或策略网络。

提出的方法

• DCN架构结合了两类子网络：全局应用的低容量粗粒度网络，以及仅应用于选定区域的高容量细粒度网络。
• 粗粒度网络生成特征图，引导一种新型基于梯度的硬注意力机制，以识别网络输出最敏感的输入块。
• 注意力机制基于梯度幅值选择特定空间块，从而实现仅对关键区域应用高容量细粒度网络。
• 模型通过反向传播端到端训练，避免了对强化学习或硬注意力可微松弛的依赖。
• 粗粒度和细粒度网络独立训练，注意力机制在推理阶段应用，从而实现高效的迁移学习。
• 训练过程中使用交叉熵损失与注意力提示的凸组合，以稳定注意力学习。

实验结果

研究问题

• RQ1 神经网络能否仅对最信息丰富的输入区域动态分配计算容量，在不牺牲性能的前提下减少整体计算量？
• RQ2 基于梯度的硬注意力机制能否在无需强化学习的情况下实现端到端训练，从而实现高效且可微的区域选择？
• RQ3 在训练数据为干净而测试数据存在噪声或杂乱的迁移学习设置中，DCN的性能如何，例如SVHN中的情况？
• RQ4 与标准卷积网络相比，DCN在大尺寸输入图像上能将推理时间与FLOPs降低多少？

主要发现

• 在杂乱MNIST基准上，DCN实现了11.6%的测试错误率，优于先前的SOTA模型。
• 在最大尺寸的SVHN测试图像上，DCN的推理时间缩短至10.8ms，相较完整细粒度模型的62.6ms，实现了52ms的加速。
• DCN仅使用3个尺度的3个补丁，便在SVHN上实现了16.6%的错误率，而完整细粒度模型为18.2%，表明DCN的选择性计算更具效率。
• 与标准卷积网络相比，DCN将计算成本降低了高达80%，且性能下降可忽略。
• 该模型成功直接从原始杂乱图像中识别出SVHN中的多数字序列，无需预先知道数字位置，展示了在迁移学习中的鲁棒性。
• 仅使用粗粒度模型时错误率为18.2%，而DCN通过仅在必要区域选择性应用高容量计算，将错误率降低至11.6%。