[论文解读] Learning Scene Gist with Convolutional Neural Networks to Improve Object Recognition

Kevin Wu, Eric Hsiao‐Kuang Wu+1 more|arXiv (Cornell University)|Mar 6, 2018

Visual Attention and Saliency Detection参考文献 17被引用 5

一句话总结

本文提出 GistNet，一种受生物学启发的双分支卷积神经网络，通过将图像周边的场景概貌——即上下文信息——整合到目标分类中，从而提升目标识别性能。通过模拟中央视野和周边视觉处理，GistNet 在仅增加 5% 模型参数量的情况下，使部分类别识别准确率最高提升 50%，证明了在机器视觉中上下文场景理解的价值。

ABSTRACT

Advancements in convolutional neural networks (CNNs) have made significant strides toward achieving high performance levels on multiple object recognition tasks. While some approaches utilize information from the entire scene to propose regions of interest, the task of interpreting a particular region or object is still performed independently of other objects and features in the image. Here we demonstrate that a scene's 'gist' can significantly contribute to how well humans can recognize objects. These findings are consistent with the notion that humans foveate on an object and incorporate information from the periphery to aid in recognition. We use a biologically inspired two-part convolutional neural network ('GistNet') that models the fovea and periphery to provide a proof-of-principle demonstration that computational object recognition can significantly benefit from the gist of the scene as contextual information. Our model yields accuracy improvements of up to 50% in certain object categories when incorporating contextual gist, while only increasing the original model size by 5%. This proposed model mirrors our intuition about how the human visual system recognizes objects, suggesting specific biologically plausible constraints to improve machine vision and building initial steps towards the challenge of scene understanding.

研究动机与目标

• 探究场景概貌——即来自图像周边的上下文信息——是否能提升深度学习模型中的目标识别性能。
• 开发一种生物上合理的视觉模型，模拟人类中央视野与周边视觉处理，以提升目标识别能力。
• 证明上下文场景信息能显著增强识别性能，尤其在具有挑战性的目标类别中。
• 提供一种计算高效的方案，将场景概貌整合到现有 CNN 架构中。

提出的方法

• 设计一个双分支卷积神经网络（GistNet），其中一个分支用于中央视野（核心）目标特征，另一个分支用于周边（场景概貌）特征。
• 训练中央视野分支以从目标区域提取高分辨率特征，同时周边分支捕捉低分辨率、全局的场景上下文。
• 在较晚阶段融合两个分支的特征，使上下文信息能够优化目标分类。
• 使用共享主干网络进行特征提取，以保持效率，其中周边分支通过空间池化操作捕捉概貌信息。
• 应用跳跃连接和残差块，以保持特征保真度并提升训练稳定性。
• 在标准目标识别数据集上，使用标准交叉熵损失函数对模型进行端到端优化。

实验结果

研究问题

• RQ1 在深度神经网络中整合场景概貌是否能显著提升目标识别性能？
• RQ2 一种受生物学启发的双分支架构，通过模拟中央视野与周边视觉处理，如何增强目标识别能力？
• RQ3 在引入场景概貌时，准确率提升与模型大小之间的权衡关系如何？
• RQ4 在哪些目标类别中，场景概貌对识别最具帮助？

主要发现

• 当引入场景概貌时，GistNet 在部分类别中实现了高达 50% 的相对准确率提升。
• 添加场景概貌仅使模型大小增加 5%，表明在整合上下文信息方面具有很高的效率。
• 该模型表明，周边场景上下文显著有助于区分目标，尤其是在模糊或杂乱的场景中。
• 性能提升在视觉相似度高或局部判别特征弱的目标类别中最为显著。
• 双分支架构成功模拟了人类视觉处理机制，其中中央聚焦与周边上下文协同支持识别。