[论文解读] Learning a Saliency Evaluation Metric Using Crowdsourced Perceptual Judgments

Changqun Xia, Jia Li+2 more|arXiv (Cornell University)|Jun 27, 2018

Visual Attention and Saliency Detection参考文献 40被引用 3

一句话总结

本文提出 CPJ，一种基于深度学习的显著性评估指标，其训练基于对 16 名受试者进行的 134,400 次二元比较的众包感知判断，通过双流卷积神经网络学习人类感知因素。CPJ 在合成数据上达到 99.6% 的准确率，显著优于现有指标，且与人类对显著性图相似性的感知高度一致。

ABSTRACT

In the area of human fixation prediction, dozens of computational saliency models are proposed to reveal certain saliency characteristics under different assumptions and definitions. As a result, saliency model benchmarking often requires several evaluation metrics to simultaneously assess saliency models from multiple perspectives. However, most computational metrics are not designed to directly measure the perceptual similarity of saliency maps so that the evaluation results may be sometimes inconsistent with the subjective impression. To address this problem, this paper first conducts extensive subjective tests to find out how the visual similarities between saliency maps are perceived by humans. Based on the crowdsourced data collected in these tests, we conclude several key factors in assessing saliency maps and quantize the performance of existing metrics. Inspired by these factors, we propose to learn a saliency evaluation metric based on a two-stream convolutional neural network using crowdsourced perceptual judgements. Specifically, the relative saliency score of each pair from the crowdsourced data is utilized to regularize the network during the training process. By capturing the key factors shared by various subjects in comparing saliency maps, the learned metric better aligns with human perception of saliency maps, making it a good complement to the existing metrics. Experimental results validate that the learned metric can be generalized to the comparisons of saliency maps from new images, new datasets, new models and synthetic data. Due to the effectiveness of the learned metric, it also can be used to facilitate the development of new models for fixation prediction.

研究动机与目标

• 解决计算评估指标与人类感知之间在显著性图比较中的差距。
• 通过大规模众包主观测试，识别影响人类判断显著性图相似性的关键感知因素。
• 开发一种基于人类感知判断而非单纯依赖统计或信息论度量的新评估指标。
• 创建一种可泛化至新图像、新数据集、新模型及合成数据的评估指标，作为现有指标的补充。

提出的方法

• 对 16 名受试者开展大规模众包感知判断任务，展示估计显著性图（ESM）成对与真实显著性图（GSM）的可视化结果，采用直方图均衡化处理。
• 收集 134,400 个二元标注，以确定哪个 ESM 更接近 GSM，从而构建相对感知偏好的数据集。
• 设计一个双流卷积神经网络（CPJ），以两个 ESM 和一个 GSM 作为输入，学习预测哪个 ESM 在感知上更接近 GSM。
• 基于相对感知判断使用对比损失训练 CPJ，促使网络为人类判断更相似的 ESM 分配更高分数。
• 使用相同的众包数据量化现有指标的性能，以基准对比 CPJ 与最先进指标的表现。
• 在未见数据上验证 CPJ，包括新图像、新数据集、新模型（如 HFT、SP）及合成数据，以评估其泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 人类在判断显著性图相似性时，一贯依赖哪些感知因素？
• RQ2 基于众包感知判断训练的深度学习模型，在新图像、新数据集和新模型上泛化能力如何？
• RQ3 基于人类感知学习的指标能否在评估显著性图相似性方面超越传统计算指标？
• RQ4 所学习的指标 CPJ 在多样化显著性图对（包括合成数据）上与人类感知的一致性程度如何？

主要发现

• 在合成数据测试中，CPJ 正确识别出真实显著性图比所有合成 ESM 更相似的准确率达到 99.6%，表明其与人类感知高度一致。
• 在合成数据中，当真实显著性图应优于所有其他图时，CPJ 达到 99.6% 的准确率，证实其能正确捕捉到性能上限。
• 在与随机基线（下限）对比时，CPJ 达到 94.3% 的准确率，表明即使在正确选择不那么明显时，其性能依然稳定。
• CPJ 在新图像、新数据集、新模型（如 HFT、SP）及合成数据上均表现出良好的泛化能力，优于十个代表性现有指标。
• 表现最佳的现有指标在匹配人类判断方面仅达到 72.8% 的准确率，凸显 CPJ 所弥合的显著差距。
• 基于 CNN 的框架成功学习到 16 名受试者之间的共享感知因素，从而构建出一种稳健且与感知对齐的评估指标，可作为传统指标的补充。