[論文レビュー] A Theory of the Distortion-Perception Tradeoff in Wasserstein Space

Dror Freirich, Tomer Michaeli+1 more|arXiv (Cornell University)|Jul 6, 2021

Advanced Image Processing Techniques参考文献 33被引用数 6

ひとこと要約

本稿は、平均二乗誤差（MSE）歪みと Wasserstein-2 感知を用いて、Wasserstein 空間における歪み-認識（DP）トレードオフの閉形式解を確立する。DP曲線が元の分布にかかわらず常に2次関数であることを証明し、最適推定器が Wasserstein 空間における測地線上に位置することを示し、最小歪みと完全な認識品質推定器の間の正確な補間を可能にする。

ABSTRACT

The lower the distortion of an estimator, the more the distribution of its outputs generally deviates from the distribution of the signals it attempts to estimate. This phenomenon, known as the perception-distortion tradeoff, has captured significant attention in image restoration, where it implies that fidelity to ground truth images comes at the expense of perceptual quality (deviation from statistics of natural images). However, despite the increasing popularity of performing comparisons on the perception-distortion plane, there remains an important open question: what is the minimal distortion that can be achieved under a given perception constraint? In this paper, we derive a closed form expression for this distortion-perception (DP) function for the mean squared-error (MSE) distortion and the Wasserstein-2 perception index. We prove that the DP function is always quadratic, regardless of the underlying distribution. This stems from the fact that estimators on the DP curve form a geodesic in Wasserstein space. In the Gaussian setting, we further provide a closed form expression for such estimators. For general distributions, we show how these estimators can be constructed from the estimators at the two extremes of the tradeoff: The global MSE minimizer, and a minimizer of the MSE under a perfect perceptual quality constraint. The latter can be obtained as a stochastic transformation of the former.

研究の動機と目的

• 画像修復における与えられた認識品質制約下での最小歪みを特徴づけること。
• MSE と Wasserstein-2 メトリクスにおける歪み-認識（DP）関数の正確な性質という未解決の問題を解明すること。
• DP トレードオフ全体にわたる最適推定器を構築するための幾何学的・解析的枠組みを提供すること。
• 事後分布サンプリングが歪み制約下での認識品質において常に最適でないことを示すこと。
• Wasserstein 空間における線形補間を用いて、テスト時における DP トレードオフの走査を可能にすること。

提案手法

• MSE 歪みと Wasserstein-2 感知インデックスの下で、DP 関数の閉形式表現を導出し、入力分布にかかわらず常に2次関数であることを証明する。
• DP 曲線上の推定器が Wasserstein 空間における測地線を形成することを確立し、トレードオフを最適輸送幾何に結びつける。
• グローバル MSE 最小化器と完全な認識品質推定器という2つの極端な点から最適推定器を構築する。後者は前者の確率的変換によって得られる。
• 正規分布の場合、最適推定器および対応する DP 曲線の明示的閉形式表現を導出する。
• パrameter空間における線形補間を用いて、DP 曲線上の推定器を生成し、この補間が最適な結果をもたらすことを示す。
• 正規分布の DP 曲線が、同じ2次モーメント統計量を持つ任意の分布の DP 曲線の下界であることを示す。

実験結果

リサーチクエスチョン

• RQ1 MSE–Wasserstein-2 トレードオフにおいて、与えられた認識品質制約下での最小歪みは何か？
• RQ2 元の信号分布にかかわらず、歪み-認識関数は常に2次関数的か？
• RQ3 グローバル MSE 最小化器と完全な認識品質推定器という2つの極端な点から、DP 曲線上の最適推定器を構築できるか？
• RQ4 完全な認識品質下で、事後分布サンプリングは最小歪みを達成するか？
• RQ5 DP 曲線上でのテスト時補間は最適化可能か？ もしそうなら、どのように実現できるか？

主な発見

• 歪み-認識関数は、定理1で示されるように、元の分布にかかわらず、認識制約Pに関して常に2次関数的である。
• DP 曲線上の最適推定器は、Wasserstein 空間における測地線を形成し、トレードオフに幾何的基盤を提供する。
• 正規分布の場合、定理4および5により、最適推定器および対応するDP曲線が閉形式で与えられる。
• 正規分布のDP曲線は、同じ2次モーメント統計量を持つ任意の分布のDP曲線の下界である。
• グローバル MSE 最小化器と完全な認識品質推定器の間の線形補間により、DP曲線全体にわたり最適推定器が得られる。
• 完全な認識品質下で、事後分布サンプリングは歪みの観点から最適ではなく、MSEがより低い代替推定器が存在する。