[论文解读] Deviation Based Pooling Strategies For Full Reference Image Quality Assessment

Hossein Ziaei Nafchi, Rachid Hedjam+2 more|arXiv (Cornell University)|Apr 26, 2015

Image and Video Quality Assessment参考文献 19被引用 4

一句话总结

本文提出平均绝对偏差（MAD）池化作为全参考图像质量评估（IQA）中标准差（SD）池化和均值池化的更鲁棒且高效的替代方法。实验结果表明，MAD池化在各类失真类型下均表现出比SD池化更强的鲁棒性，且在多个IQA模型（包括VSI和GMSD）中性能优于均值池化和SD池化，同时保持了计算效率。

ABSTRACT

The state-of-the-art pooling strategies for perceptual image quality assessment (IQA) are based on the mean and the weighted mean. They are robust pooling strategies which usually provide a moderate to high performance for different IQAs. Recently, standard deviation (SD) pooling was also proposed. Although, this deviation pooling provides a very high performance for a few IQAs, its performance is lower than mean poolings for many other IQAs. In this paper, we propose to use the mean absolute deviation (MAD) and show that it is a more robust and accurate pooling strategy for a wider range of IQAs. In fact, MAD pooling has the advantages of both mean pooling and SD pooling. The joint computation and use of the MAD and SD pooling strategies is also considered in this paper. Experimental results provide useful information on the choice of the proper deviation pooling strategy for different IQA models.

研究动机与目标

• 为解决现有池化策略（尤其是标准差（SD）池化中对大偏差的过度强调）在全参考图像质量评估（IQA）中的局限性。
• 评估基于平均绝对偏差（MAD）的池化策略在IQA模型中作为均值和SD池化替代方案的有效性、鲁棒性和效率。
• 探究结合MAD和SD池化策略是否能为特定IQA模型带来更优性能。
• 基于不同失真类型和数据集上的性能表现，为不同IQA模型选择最优偏差池化策略提供实证指导。

提出的方法

• 提出一种基于偏差的MAD池化策略，其计算方式为相对于均值的绝对偏差的平均值，以减少SD池化对大误差的过度强调。
• 引入一种联合偏差池化策略（DD池化），同时计算MAD和SD，并通过超参数α控制加权组合。
• 将MAD、SD和DD池化应用于SSIM、FSIM、GS、GMSD和VSI等成熟IQA模型，使用相位一致性、梯度和对比度等图像特征提取的局部相似性图。
• 在基准数据集（TID2013、TID2008、CSIQ）上使用标准评估指标（SROCC、KROCC、PCC和SRC）比较不同池化策略的性能。
• 采用Minkowski距离框架，将偏差池化形式化为阶数ρ的广义离散度度量，其中ρ=1对应MAD，ρ=2对应SD。
• 进行运行时分析，评估在标准CPU上MAD、SD和联合MAD+SD（DD）池化的计算效率。

实验结果

研究问题

• RQ1 在IQA中，平均绝对偏差（MAD）池化是否在多种图像失真下均比标准差（SD）池化表现出更好的鲁棒性和准确性？
• RQ2 MAD池化与均值池化及加权均值池化相比，在不同IQA模型中的性能和可靠性如何？
• RQ3 联合使用MAD和SD池化（DD池化）是否能为特定IQA模型带来超越单一策略的性能提升？
• RQ4 MAD池化是否在计算效率上优于SD池化，同时在降低计算成本的同时保持高性能？
• RQ5 哪些IQA模型最受益于MAD池化？对于VSI、GMSD和FSIM等模型，最优池化策略是什么？

主要发现

• MAD池化在鲁棒性方面优于SD池化，尤其在各类单独失真类型下表现更优，VSI的最小SRC值为0.4564，而SD池化仅为0.1713。
• 对于VSI指数，MAD池化使各类失真类型下的平均预测性能提升1.8910%，并提高了最低质量预测值，尽管在TID2013数据集上整体SROCC和PCC指标略有下降。
• 采用MAD池化的GMSD（GMS_MAD）比原始GMSD（基于SD）更快，且在各类失真类型上的表现优于基于SD的GMSD。
• 当α=0.1时，联合DD池化策略（MAD+SD）在VSI和GMS指标上均优于单独使用SD池化，且在各类失真类型下表现出更强的鲁棒性。
• MAD池化在计算上比SD池化更快，速度仅次于均值池化，且MAD与SD的联合计算仍保持高效。
• 在SSIM中，MAD池化优于SD池化，而SD池化在某些失真类型下表现显著较差，凸显了MAD的更强鲁棒性。