[论文解读] A Theory of the Distortion-Perception Tradeoff in Wasserstein Space

Dror Freirich, Tomer Michaeli+1 more|arXiv (Cornell University)|Jul 6, 2021

Advanced Image Processing Techniques参考文献 33被引用 6

一句话总结

本文通过均方误差（MSE）失真和Wasserstein-2感知指标，在Wasserstein空间中建立了失真-感知（DP）权衡的闭式解。证明了无论底层分布如何，DP曲线始终为二次曲线，并表明最优估计器位于Wasserstein空间的测地线上，从而实现了最小失真与完美感知质量估计器之间的精确插值。

ABSTRACT

The lower the distortion of an estimator, the more the distribution of its outputs generally deviates from the distribution of the signals it attempts to estimate. This phenomenon, known as the perception-distortion tradeoff, has captured significant attention in image restoration, where it implies that fidelity to ground truth images comes at the expense of perceptual quality (deviation from statistics of natural images). However, despite the increasing popularity of performing comparisons on the perception-distortion plane, there remains an important open question: what is the minimal distortion that can be achieved under a given perception constraint? In this paper, we derive a closed form expression for this distortion-perception (DP) function for the mean squared-error (MSE) distortion and the Wasserstein-2 perception index. We prove that the DP function is always quadratic, regardless of the underlying distribution. This stems from the fact that estimators on the DP curve form a geodesic in Wasserstein space. In the Gaussian setting, we further provide a closed form expression for such estimators. For general distributions, we show how these estimators can be constructed from the estimators at the two extremes of the tradeoff: The global MSE minimizer, and a minimizer of the MSE under a perfect perceptual quality constraint. The latter can be obtained as a stochastic transformation of the former.

研究动机与目标

• 表征在图像恢复中，给定感知质量约束下的最小可实现失真。
• 解决MSE与Wasserstein-2度量下失真-感知（DP）函数确切性质的开放问题。
• 为构建DP权衡全范围内最优估计器提供几何与分析框架。
• 证明在失真约束下，后验抽样并不总是最优的感知质量方法。
• 通过在Wasserstein空间中线性插值，实现在测试时对DP权衡的遍历。

提出的方法

• 推导了在MSE失真和Wasserstein-2感知指标下DP函数的闭式表达式，证明其无论输入分布如何始终为二次函数。
• 确立了DP曲线上估计器在Wasserstein空间中形成测地线，将权衡与最优传输几何联系起来。
• 从两个极端点构建最优估计器：全局MSE最小化器和完美感知质量估计器，后者通过前者的随机变换获得。
• 对于高斯分布，推导出最优估计器及相应DP曲线的显式闭式表达式。
• 使用参数空间中的线性插值在DP曲线上生成估计器，表明该插值可获得最优结果。
• 证明具有相同二阶统计量的任意分布的DP曲线均以上述高斯DP曲线为下界。

实验结果

研究问题

• RQ1 在MSE–Wasserstein-2权衡中，给定感知质量约束下可实现的最小失真是多少？
• RQ2 无论底层信号分布如何，失真-感知函数是否始终为二次函数？
• RQ3 能否从两个极端点——全局MSE最小化器和完美感知质量估计器——构造DP曲线上最优估计器？
• RQ4 在完美感知质量条件下，后验抽样是否能实现最低失真？
• RQ5 能否对DP曲线上的测试时插值进行优化？若能，如何实现？

主要发现

• 无论底层分布如何，失真-感知函数在感知约束P下始终为二次函数，如定理1所证明。
• DP曲线上最优估计器在Wasserstein空间中形成测地线，为该权衡提供了几何基础。
• 对于高斯分布，最优估计器及相应DP曲线由定理4和定理5以闭式表达。
• 高斯DP曲线是具有相同二阶统计量的任意分布DP曲线的下界。
• 在全局MSE最小化器与完美感知质量估计器之间进行线性插值，可在整个DP曲线上获得最优估计器。
• 在完美感知质量约束下，后验抽样在失真方面并非最优，因为存在MSE更低的替代估计器。