[论文解读] Associations among Image Assessments as Cost Functions in Linear Decomposition: MSE, SSIM, and Correlation Coefficient

Jianji Wang, Nanning Zheng+2 more|arXiv (Cornell University)|Aug 4, 2017

Image and Video Quality Assessment参考文献 12被引用 5

一句话总结

本文建立了在图像向量线性分解中使用均方误差（MSE）、结构相似性（SSIM）和皮尔逊相关系数（PCC）作为损失函数时的理论等价性。结果表明，无论采用何种损失函数，目标图像块所选择的基础向量完全相同，且MSE与SSIM-based分解中仿射参数的比值恰好等于估计向量与目标向量之间的PCC，从而实现了稀疏编码存储的优化。

ABSTRACT

The traditional methods of image assessment, such as mean squared error (MSE), signal-to-noise ratio (SNR), and Peak signal-to-noise ratio (PSNR), are all based on the absolute error of images. Pearson's inner-product correlation coefficient (PCC) is also usually used to measure the similarity between images. Structural similarity (SSIM) index is another important measurement which has been shown to be more effective in the human vision system (HVS). Although there are many essential differences among these image assessments, some important associations among them as cost functions in linear decomposition are discussed in this paper. Firstly, the selected bases from a basis set for a target vector are the same in the linear decomposition schemes with different cost functions MSE, SSIM, and PCC. Moreover, for a target vector, the ratio of the corresponding affine parameters in the MSE-based linear decomposition scheme and the SSIM-based scheme is a constant, which is just the value of PCC between the target vector and its estimated vector.

研究动机与目标

• 研究在图像向量线性分解中使用MSE、SSIM与PCC作为损失函数时，三者之间的理论关系。
• 确定不同损失函数是否对给定目标图像块产生相同的选定基础向量。
• 分析基于MSE与SSIM的线性分解方案中仿射参数之间的关系。
• 探讨这些关联对稀疏编码中数据存储优化的影响。

提出的方法

• 在假设图像块具有非零方差的前提下，正式推导使用MSE、SSIM与PCC作为损失函数的线性分解方法。
• 利用协方差与相关性结构，推导基于MSE与SSIM方案的仿射参数方程。
• 运用向量代数与协方差矩阵，建立MSE最小化与SSIM最大化、PCC最大化之间的关联。
• 推导MSE与SSIM方案中对应仿射参数之间的恒定比值，证明其等于估计向量与目标向量之间的PCC。
• 应用MSE最小化与|SSIM|最大化的等价性，二者均等价于|PCC|的最大化。
• 通过共享的优化条件，证明不同损失函数下使用了相同的基础向量集合。

实验结果

研究问题

• RQ1 在图像向量的线性分解中，MSE、SSIM与PCC作为损失函数是否对给定目标图像块产生相同的选定基础向量？
• RQ2 基于MSE与SSIM的线性分解方案中获得的仿射参数之间是否存在一致的数学关系？
• RQ3 在图像线性逼近的背景下，MSE最小化是否在数学上等价于SSIM或PCC的最大化？
• RQ4 皮尔逊相关系数在连接不同分解方案的仿射参数中起什么作用？
• RQ5 如何利用这些理论等价性来优化稀疏编码中的数据存储？

主要发现

• 当应用于同一目标向量时，基于MSE、SSIM与PCC的线性分解所选择的基础向量完全相同。
• 最小化MSE在数学上等价于最大化|SSIM|，也等价于最大化皮尔逊相关系数（PCC）的绝对值。
• 基于MSE与SSIM的分解方案中，对应仿射参数的比值为常数，且等于估计向量与目标向量之间的PCC。
• 该恒定比值使得不同方案间仿射参数可直接转换，简化了参数传递与存储。
• 这些理论等价性为通过减少多损失函数表示间的冗余，优化稀疏编码中的数据存储提供了基础。
• 该结论在图像块具有非零方差的假设下成立，且通过将小常数ε₁与ε₂设为零，简化了SSIM的表达。