[论文解读] Hard-Attention for Scalable Image Classification

Athanasios N. Papadopoulos, Paweł Korus+1 more|arXiv (Cornell University)|Feb 20, 2021

Advanced Neural Network Applications参考文献 76被引用 10

一句话总结

本文提出遍历网络（TNet），一种多尺度硬注意力架构，通过在尺度空间中递归关注最显著的区域来处理高分辨率图像，在减少浮点运算量（FLOPs）、内存占用和推理时间的同时实现更高的准确率。TNet 通过调整关注位置的数量，实现准确率与复杂度之间的可调节权衡，同时通过注意力图提供内在可解释性，在 ImageNet 和 fMoW 上优于硬注意力基线模型，处理速度最高提升 2.5 倍，且准确率更高。

ABSTRACT

Can we leverage high-resolution information without the unsustainable quadratic complexity to input scale? We propose Traversal Network (TNet), a novel multi-scale hard-attention architecture, which traverses image scale-space in a top-down fashion, visiting only the most informative image regions along the way. TNet offers an adjustable trade-off between accuracy and complexity, by changing the number of attended image locations. We compare our model against hard-attention baselines on ImageNet, achieving higher accuracy with less resources (FLOPs, processing time and memory). We further test our model on fMoW dataset, where we process satellite images of size up to $896 imes 896$ px, getting up to $2.5$x faster processing compared to baselines operating on the same resolution, while achieving higher accuracy as well. TNet is modular, meaning that most classification models could be adopted as its backbone for feature extraction, making the reported performance gains orthogonal to benefits offered by existing optimized deep models. Finally, hard-attention guarantees a degree of interpretability to our model's predictions, without any extra cost beyond inference. Code is available at $\href{https://github.com/Tpap/TNet}{github.com/Tpap/TNet}$.

研究动机与目标

• 解决在深度学习中处理高分辨率图像时产生的二次方计算与内存开销问题。
• 在不牺牲高分辨率输入准确率的前提下，实现高效且可扩展的图像分类。
• 通过硬注意力机制提供内在可解释性，且无需额外推理成本。
• 提供一种模块化、端到端可训练的架构，与现有深度学习主干网络兼容。

提出的方法

• TNet 以自顶向下的递归方式在多个尺度上处理图像，仅访问最显著的区域。
• 它使用可微分策略网络在每个尺度上选择图像位置，受修改后的 REINFORCE 规则指导。
• 在每个处理层级并行执行特征提取，避免使用序列化的 RNN，从而实现直接的梯度传播。
• 将不同位置关注到的特征进行平均并融合，形成用于分类的全局表征。
• 提出一种新型正则化方法，鼓励模型基于单个关注位置进行分类，从而提升泛化能力。
• 在不使用软注意力或额外反向传播的情况下应用硬注意力，确保可解释性且无额外成本。

实验结果

研究问题

• RQ1 我们能否在不产生二次方计算复杂度的前提下，实现高分辨率图像的高准确率？
• RQ2 与现有硬注意力基线相比，多尺度硬注意力机制是否能提升效率与准确率？
• RQ3 硬注意力能否在不增加推理或训练开销的前提下提供内在可解释性？
• RQ4 关注更少但更显著的区域如何影响泛化能力，尤其是在低对比度或杂乱场景（如卫星图像）中？
• RQ5 模型性能是否可与主干网络架构解耦，从而实现与优化模型的即插即用式集成？

主要发现

• 在 ImageNet 上，TNet 的 top-1 准确率高于强基线硬注意力模型，同时 FLOPs 更少、内存占用更低、推理速度更快。
• 在 fMoW 上，TNet 处理 896×896 的卫星图像速度比基线模型快最多 2.5 倍，且准确率更高。
• 在 ImageNet 上，精确率较高（表明对背景区域的关注极少），而召回率较低，表明注意力集中在目标边界框内。
• 在 fMoW 上，精确率较低而召回率较高，反映出模型能够有效关注大图像中稀疏分布的小目标。
• 关注位置数量的增加导致覆盖范围呈次线性增长，表明注意力区域存在重叠。
• 消融实验表明，所提出的正则化方法显著提升了性能，通过促进对单个显著位置的关注。