[论文解读] DeepFix: A Fully Convolutional Neural Network for predicting Human Eye Fixations

Srinivas S S Kruthiventi, Kumar Ayush+1 more|arXiv (Cornell University)|Oct 10, 2015

Visual Attention and Saliency Detection被引用 41

一句话总结

DeepFix 是一种全卷积神经网络，通过端到端学习预测人类眼动注视点，引入了一种新颖的**位置偏置卷积（LBC）层**，以建模如中心-周边模式等空间偏好。它在 MIT300 和 CAT2000 数据集上实现了最先进性能，显著优于先前方法，在 NSS、EMD、CC 和相似性度量上均取得大幅领先。

ABSTRACT

Understanding and predicting the human visual attentional mechanism is an active area of research in the fields of neuroscience and computer vision. In this work, we propose DeepFix, a first-of-its-kind fully convolutional neural network for accurate saliency prediction. Unlike classical works which characterize the saliency map using various hand-crafted features, our model automatically learns features in a hierarchical fashion and predicts saliency map in an end-to-end manner. DeepFix is designed to capture semantics at multiple scales while taking global context into account using network layers with very large receptive fields. Generally, fully convolutional nets are spatially invariant which prevents them from modeling location dependent patterns (e.g. centre-bias). Our network overcomes this limitation by incorporating a novel Location Biased Convolutional layer. We evaluate our model on two challenging eye fixation datasets -- MIT300, CAT2000 and show that it outperforms other recent approaches by a significant margin.

研究动机与目标

• 开发一种深度学习模型，以高精度预测图像中人类视觉注意（眼动注视点）。
• 通过学习分层、数据驱动的特征，克服传统显著性模型依赖手工设计特征的局限。
• 解决全卷积网络的空间不变性问题，该问题阻碍对如中心偏置等依赖位置的注视模式进行建模。
• 通过大感受野卷积实现多尺度语义特征与全局上下文的融合，提升显著性预测性能。
• 在基准数据集上评估模型，并证明其在现有最先进方法中的优越性能。

提出的方法

• 模型采用受 VGG 启发的深层架构，包含 20 个卷积层和小卷积核尺寸，以提取分层特征。
• 采用类似 Inception 的模块，通过并行使用不同卷积核尺寸的卷积，捕捉多尺度语义特征。
• 在网络末端使用大感受野卷积层以建模全局场景上下文，替代全连接层。
• 引入一种新颖的**位置偏置卷积（LBC）层**，在卷积运算中添加可学习的空间偏置图，以建模如中心偏置等依赖位置的模式。
• 通过反向传播进行端到端训练，以最小化预测显著性图与真实显著性图之间的差异。
• LBC 层使用可学习的空间偏置，该偏置在空间上广播并加至特征图之后再进行激活，从而实现对特定位置的关注学习。

实验结果

研究问题

• RQ1 全卷积神经网络是否能在不依赖手工特征的情况下，有效预测人类眼动注视点？
• RQ2 深度网络如何同时建模多尺度语义与全局上下文以实现显著性预测？
• RQ3 一种显式建模空间偏置（如中心偏置）的新卷积层，是否能优于标准 FCN 提升显著性预测性能？
• RQ4 所提出的 LBC 层与显式添加中心偏置图相比，在性能与泛化能力上表现如何？
• RQ5 为何 AUC 基准度量无法有效惩罚显著性图中的假阳性？这对模型评估有何影响？

主要发现

• DeepFix 在 MIT300 和 CAT2000 两个数据集上均达到最先进性能，显著优于先前方法，在 NSS、EMD、CC 和相似性度量上表现优异。
• 在 MIT1003 验证集上，LBC 变体（DF-LBC）达到 NSS = 2.58，EMD = 1.28，CC = 0.72，显著优于无 LBC 的基线模型（NSS = 2.54，EMD = 1.45，CC = 0.70）。
• 消融实验证实，通过 LBC 层隐式学习位置偏置，性能优于显式添加均值中心偏置图的方法。
• 尽管 AUC-Shuffled 分数较低（因模型准确建模了中心偏置），但其预测的显著性图在视觉上更接近真实值，优于 AUC-Shuffled 分数更高的模型。
• 研究表明 AUC 度量存在缺陷，无法有效惩罚假阳性：模糊图与清晰图的得分相近，而 EMD 和 NSS 度量能正确识别并惩罚此类错误。
• 结果表明，结合多尺度特征学习、全局上下文与可学习空间偏置，可实现更优的显著性预测。