[论文解读] Deep Networks with Internal Selective Attention through Feedback Connections

Marijn Stollenga, Jonathan Masci+2 more|arXiv (Cornell University)|Jul 11, 2014

Advanced Memory and Neural Computing参考文献 45被引用 129

一句话总结

该论文提出深度注意力选择网络（dasNet），一种引入反馈连接以实现在卷积神经网络中内部选择性注意的深度学习架构。通过使用可分离自然进化策略（SNES）进行强化学习，dasNet在多次推理过程中动态调节滤波器敏感度，通过迭代注意机制纠正初始误分类，在CIFAR-10和CIFAR-100上实现分类准确率提升，相较原始CNN实现6%的相对改进，达到新的最先进水平。

ABSTRACT

Traditional convolutional neural networks (CNN) are stationary and feedforward. They neither change their parameters during evaluation nor use feedback from higher to lower layers. Real brains, however, do. So does our Deep Attention Selective Network (dasNet) architecture. DasNets feedback structure can dynamically alter its convolutional filter sensitivities during classification. It harnesses the power of sequential processing to improve classification performance, by allowing the network to iteratively focus its internal attention on some of its convolutional filters. Feedback is trained through direct policy search in a huge million-dimensional parameter space, through scalable natural evolution strategies (SNES). On the CIFAR-10 and CIFAR-100 datasets, dasNet outperforms the previous state-of-the-art model.

研究动机与目标

• 开发一种非平稳深度神经网络，使其在训练后能够自适应调整行为，以提升对困难样本的分类性能。
• 通过从高层向低层引入反馈连接，在深度CNN中实现内部选择性注意。
• 在高维参数空间中使用可扩展的强化学习方法，学习滤波器调制的控制策略。
• 在CIFAR-10和CIFAR-100等具有挑战性的图像分类基准上超越标准前馈CNN。
• 证明基于反馈的注意力机制可通过迭代优化修正预训练CNN的误分类。

提出的方法

• 该架构采用带有Dropout的Maxout网络作为基础模型，通过滤波器输出的最大池化实现鲁棒的特征学习。
• 从高层向低层引入反馈连接，使推理过程中可对卷积滤波器活动进行自顶向下的调制。
• 通过可分离自然进化策略（SNES）学习控制策略，以确定在多次推理过程中应强调或抑制哪些滤波器。
• 该策略作用于非可微的高维空间（超过100万个参数），使得传统反向传播不可行，因此采用SNES进行直接策略搜索。
• 网络对同一输入执行多次推理，滤波器权重根据策略动态调整，实现特征表示的迭代优化。
• 每次推理后执行分类，最终预测基于激活序列生成，策略倾向于选择能提升正确类别置信度的特征。

实验结果

研究问题

• RQ1 在深度CNN中引入反馈连接是否能实现内部选择性注意，从而提升对困难样本的分类准确率？
• RQ2 与基于梯度的方法相比，是否能有效利用进化策略学习高维滤波器调制控制策略？
• RQ3 通过多次推理实现的迭代优化是否能使网络在初始前向传播后修正自身的误分类？
• RQ4 所学习的注意力机制在不同层中是否以非均匀、与任务相关的方式改变滤波器激活？
• RQ5 策略的最终门控值是否包含足够信息用于分类，表明注意力机制被有效利用？

主要发现

• 在CIFAR-10数据集上，dasNet相较基线原始CNN实现了6%的相对准确率提升。
• 在CIFAR-100上，dasNet超越了此前的最先进模型，确立了新的SOTA结果。
• 网络成功将初始被误分类为狗的猫纠正为正确类别，通过在高层强调相关滤波器并抑制其他滤波器，最终实现正确预测。
• 分析表明，滤波器调制具有复杂且非均匀的特性，涉及对特定特征模式的强调与抑制，而非简单的全局缩放。
• 策略的最终门控值包含显著的预测信息，使用15个最近邻分类器达到40.70%准确率，使用逻辑回归达到45.74%，证实其功能相关性。
• 即使在超出训练时间范围（最多10步）的情况下，网络的动力学仍保持稳定，表明所学策略具有鲁棒性。