[论文解读] End-to-end Convolutional Network for Saliency Prediction

Junting Pan, Xavier Giró-i-Nieto|arXiv (Cornell University)|Jul 6, 2015

Visual Attention and Saliency Detection参考文献 7被引用 17

一句话总结

本文提出 JuntingNet，一种用于显著性预测的端到端卷积神经网络，通过使用欧几里得损失函数直接回归连续的显著性图。在大规模数据集（iSUN 和 SALICON）上进行训练后，该方法在 LSUN 2015 挑战赛中所有指标上均达到最先进性能，以显著优势超越现有方法，获得第一名。

ABSTRACT

The prediction of saliency areas in images has been traditionally addressed with hand crafted features based on neuroscience principles. This paper however addresses the problem with a completely data-driven approach by training a convolutional network. The learning process is formulated as a minimization of a loss function that measures the Euclidean distance of the predicted saliency map with the provided ground truth. The recent publication of large datasets of saliency prediction has provided enough data to train a not very deep architecture which is both fast and accurate. The convolutional network in this paper, named JuntingNet, won the LSUN 2015 challenge on saliency prediction with a superior performance in all considered metrics.

研究动机与目标

• 开发一种完全基于数据驱动的端到端卷积神经网络用于显著性预测，避免使用手工设计的特征。
• 将显著性预测视为回归问题而非分类问题，以建模显著性图中的空间一致性。
• 利用大规模标注数据集（iSUN 和 SALICON）训练一种浅层但高效的网络结构，避免过拟合。
• 在显著性预测的基准指标上实现卓越性能，尤其在相似性、CC、AUC 和 Judd AUC 指标上表现突出。
• 为未来的研究和应用提供一个公开可用的高性能模型。

提出的方法

• 网络 JuntingNet 采用浅层结构，包含五层：三层 2D 卷积层和两层全连接层（视为 1x1 卷积）。
• 输入图像被缩放为 96×96×3 以降低过拟合风险并减少计算负载。
• 通过最小化预测显著性图与真实显著性图之间的 L2（欧几里得）损失，实现端到端训练。
• 在后处理阶段应用高斯滤波器以平滑最终的显著性图预测结果。
• 使用 Theano 在 GTX 980 GPU 上进行训练，训练 1,000 个周期，基础学习率设为 0.001，并衰减至 0.0001。
• 在 iSUN（6,000 张图像）和 SALICON（10,000 张图像）数据集上分别独立训练网络。

实验结果

研究问题

• RQ1 是否可以通过直接回归训练的浅层端到端卷积网络，超越传统的手工设计显著性模型？
• RQ2 基于大规模标注显著性数据集的数据驱动方法，是否能够在不依赖分类任务迁移学习的情况下实现更优性能？
• RQ3 在保持高精度显著性预测的同时，架构的简洁性（层数较少）在多大程度上可防止过拟合？
• RQ4 端到端回归模型在多种显著性评估指标（如 CC、AUC、Judd AUC）上的表现如何比较？
• RQ5 单一统一的网络架构是否能在不同显著性标注范式（眼动追踪 vs. 点击式标注）之间实现良好泛化？

主要发现

• JuntingNet 在 LSUN 2015 挑战赛的所有评估指标中均取得最高分，在 iSUN 和 SALICON 数据集上均获得第一名。
• 在 iSUN 数据集上，其相似性为 0.6833，CC 为 0.8230，AUC shuffled 为 0.6650，AUC Borji 为 0.8463，AUC Judd 为 0.8693。
• 在 SALICON 数据集上，其相似性为 0.5198，CC 为 0.5957，AUC shuffled 为 0.6698，AUC Borji 为 0.8291，AUC Judd 为 0.8364。
• 该模型显著超越所有基线方法，包括 GBVS、Itti、BMS 以及其他最先进方法。
• 每数据集的训练过程耗时 5–7 小时，单张图像的推理时间仅需 200 ms，表明其具有很高的效率。
• 结果表明，直接在显著性图上端到端训练的浅层卷积神经网络，无需依赖分类任务的预训练特征，即可实现最先进性能。