[论文解读] A Formal Evaluation of PSNR as Quality Measurement Parameter for Image Segmentation Algorithms

Fernando A. Fardo, Victor H. Conforto+2 more|arXiv (Cornell University)|May 23, 2016

Industrial Vision Systems and Defect Detection被引用 43

一句话总结

本文使用伯克利 BSR300 数据集的真值掩码，评估峰值信噪比（PSNR）作为图像分割算法质量度量的可靠性。通过比较人工标注（理想）分割掩码与人工退化（低质量）掩码之间的 PSNR 值，研究发现 PSNR 会持续将质量较差的分割结果评为更高质量，表明尽管 PSNR 在图像处理中被广泛使用，但其在分割评估中并不可靠。

ABSTRACT

Quality evaluation of image segmentation algorithms are still subject of debate and research. Currently, there is no generic metric that could be applied to any algorithm reliably. This article contains an evaluation for the PSRN (Peak Signal-To-Noise Ratio) as a metric which has been used to evaluate threshold level selection as well as the number of thresholds in the case of multi-level segmentation. The results obtained in this study suggest that the PSNR is not an adequate quality measurement for segmentation algorithms.

研究动机与目标

• 评估 PSNR 作为图像分割算法评估分析指标的可靠性。
• 确定 PSNR 是否能客观区分高质量与低质量的分割结果。
• 挑战在基于阈值的分割研究中广泛使用 PSNR 的做法，尽管其与人工验证的真值不一致。
• 提供统计证据表明，与人工标注的真值相比，PSNR 无法反映真实的分割质量。

提出的方法

• 使用伯克利 BSR300 数据库，该数据库提供 300 幅图像及其人工标注的真值掩码。
• 通过填充真值图像中的闭合轮廓，生成理想分割掩码，以创建二值前景/背景掩码。
• 通过在真值掩码上应用随机阈值，生成人工的、低质量的分割掩码，以模拟较差的分割结果。
• 计算每个理想掩码与对应真值之间的 PSNR，以及每个低质量掩码与真值之间的 PSNR。
• 应用费雪 F 检验，评估高质量与低质量掩码的 PSNR 值之间的方差齐性。
• 使用韦尔奇 T 检验比较高质量与低质量掩码的 PSNR 值均值，显著性水平为 95%。

实验结果

研究问题

• RQ1 PSNR 是否能可靠地区分高质量与低质量的图像分割结果？
• RQ2 理想分割掩码与人工退化掩码之间的 PSNR 值是否存在统计学上的显著差异？
• RQ3 PSNR 是否系统性地偏好错误的分割结果，而非人工验证的真值？
• RQ4 高质量与低质量掩码的 PSNR 值的方差结构是否足够不同，以支持参数检验？

主要发现

• F 检验显示，高质量与低质量掩码的 PSNR 值方差显著不齐，因此采用韦尔奇 T 检验而非学生 t 检验是合理的。
• 韦尔奇 T 检验得到的 p 值为 4.735×10⁻¹⁴，因此拒绝原假设，表明低质量掩码的 PSNR 值显著高于高质量掩码。
• 低质量分割掩码的平均 PSNR（6.740）显著高于高质量掩码（5.639），表明 PSNR 倾向于偏好劣质结果。
• 均值差异的置信区间完全为负，确认低质量掩码的 PSNR 值始终更高。
• 结果表明，PSNR 并非评估分割算法的有效指标，因其与人工验证的分割质量无相关性。
• 尽管 PSNR 在图像压缩与传输中具有实用性，但由于其对分割质量的评价存在反直觉排序，因此不适用于分割评估。