[论文解读] Enhanced-alignment Measure for Binary Foreground Map Evaluation

Deng-Ping Fan, Cheng Gong+4 more|arXiv (Cornell University)|May 26, 2018

Visual Attention and Saliency Detection参考文献 11被引用 127

一句话总结

该论文提出 E-measure，一种简单的二值前景图评估指标，能够联合捕捉局部像素对齐和图像级统计，并在多个数据集和元度量上对现有指标显示出更优的排序/一致性。

ABSTRACT

The existing binary foreground map (FM) measures to address various types of errors in either pixel-wise or structural ways. These measures consider pixel-level match or image-level information independently, while cognitive vision studies have shown that human vision is highly sensitive to both global information and local details in scenes. In this paper, we take a detailed look at current binary FM evaluation measures and propose a novel and effective E-measure (Enhanced-alignment measure). Our measure combines local pixel values with the image-level mean value in one term, jointly capturing image-level statistics and local pixel matching information. We demonstrate the superiority of our measure over the available measures on 4 popular datasets via 5 meta-measures, including ranking models for applications, demoting generic, random Gaussian noise maps, ground-truth switch, as well as human judgments. We find large improvements in almost all the meta-measures. For instance, in terms of application ranking, we observe improvementrangingfrom9.08% to 19.65% compared with other popular measures.

研究动机与目标

• 说明需要一种针对二值地图的评估指标，能够同时考虑局部信息和全局信息。
• 提出一种简洁的一项式度量，将像素级对齐与整幅图像的统计信息融合。
• 展示在跨数据集的应用级排序和人工判断中具有更高的一致性。
• 创建一个带有排序地图的新数据集，以评估指标与人类偏好之间的相关性。

提出的方法

• 通过将每个映射围绕其全局均值中心化来定义偏置矩阵，从而得到 ϕI = I − μI，I ∈ {GT, FM}。
• 通过对 GT 与 FM 的偏置矩阵进行哈达玛乘积和归一化来相关化得到对齐矩阵 ξ：ξFM = 2ϕGT ◦ ϕFM / (ϕGT ◦ ϕGT + ϕFM ◦ ϕFM)。
• 应用凸映射 f(x) = 1/4 (1 + x)^2 将 ξ 转换为增强对齐 φ（φFM = f(ξFM)）。
• 将最终的 E-measure QFM 定义为 φFM 在所有像素上的均值：QFM = (1/(wh)) Σx,y φFM(x,y)。
• 论证该度量同时捕捉图像级统计信息和局部像素匹配，从而提升二值地图的评估。

实验结果

研究问题

• RQ1 一个整合全局统计与局部对齐的单项式度量，是否能超越现有的像素级和基于结构的度量来评估二值前景地图？
• RQ2 所提出的 E-measure 是否在多数据集上产生的排序与应用结果和人工判断的对齐度更高？
• RQ3 相较于先前度量，E-measure 对噪声、通用映射和真值切换是否更稳健？
• RQ4 根据新创建的 FMDatabase，E-measure 分数与人工排名之间的相关性是多少？

主要发现

• 在四个数据集上，与 IOU、Fβ/JI、CM、Fbw、VQ 和 S-measure 相比，E-measure 在与应用级输出的一致性排名方面表现出持续改进。
• 在多个元度量上，E-measure 在与人工判断以及基于真值的排序的一致性方面表现出更优。
• 作者报告在应用排序指标上的显著改进（例如，较某些基线高出约19%）以及对噪声判别的更好的 SOTA。
• 发布了一个带有人类排序二值地图的新数据集（FMDatabase），用于评估度量与人类的一致性。
• 论文指出，尽管在某些结构场景下 S-measure 可能表现略好，但 E-measure 针对二值地图进行了定制，更可靠且计算高效。