[논문 리뷰] A Theory of the Distortion-Perception Tradeoff in Wasserstein Space

Dror Freirich, Tomer Michaeli외 1명|arXiv (Cornell University)|2021. 07. 06.

Advanced Image Processing Techniques참고 문헌 33인용 수 6

한 줄 요약

이 논문은 평균 제곱 오차(MSE) 왜곡과 워샤르슈타인-2 인지 지표를 사용하여 워샤르슈타인 공간 내 왜곡-인지(Perception) 트레이드오프에 대한 폐쇄형 해를 수립한다. 이는 어떤 기저 분포이든 간에 항상 이차함수 형태의 DP 곡선을 갖는다는 것을 증명하며, 최적 추정기는 워샤르슈타인 공간 내 지오데식 상에 위치함을 보여주어 최소 왜곡과 완벽한 인지 품질 추정기 사이의 정확한 보간을 가능하게 한다.

ABSTRACT

The lower the distortion of an estimator, the more the distribution of its outputs generally deviates from the distribution of the signals it attempts to estimate. This phenomenon, known as the perception-distortion tradeoff, has captured significant attention in image restoration, where it implies that fidelity to ground truth images comes at the expense of perceptual quality (deviation from statistics of natural images). However, despite the increasing popularity of performing comparisons on the perception-distortion plane, there remains an important open question: what is the minimal distortion that can be achieved under a given perception constraint? In this paper, we derive a closed form expression for this distortion-perception (DP) function for the mean squared-error (MSE) distortion and the Wasserstein-2 perception index. We prove that the DP function is always quadratic, regardless of the underlying distribution. This stems from the fact that estimators on the DP curve form a geodesic in Wasserstein space. In the Gaussian setting, we further provide a closed form expression for such estimators. For general distributions, we show how these estimators can be constructed from the estimators at the two extremes of the tradeoff: The global MSE minimizer, and a minimizer of the MSE under a perfect perceptual quality constraint. The latter can be obtained as a stochastic transformation of the former.

연구 동기 및 목표

• 이미지 복원에서 주어진 인지 품질 제약 조건 하에서 달성 가능한 최소 왜곡을 규명하기 위해.
• MSE 및 워샤르슈타인-2 지표에 대한 정확한 왜곡-인지(DP) 함수의 본질을 밝히는 열린 문제를 해결하기 위해.
• 왜곡-인지 트레이드오프 전반에 걸쳐 최적 추정기를 구성하기 위한 기하학적 및 분석적 프레임워크를 제공하기 위해.
• 완벽한 인지 품질 조건 하에서 왜곡 제약 조건에서 후행 샘플링이 항상 최적은 아님을 보여주기 위해.
• 테스트 시간에 워샤르슈타인 공간 내 선형 보간을 통해 DP 트레이드오프를 탐색할 수 있도록 하기 위해.

제안 방법

• MSE 왜곡과 워샤르슈타인-2 인지 지표 하에서 DP 함수에 대한 폐쇄형 표현을 유도하며, 이는 입력 분포에 관계없이 항상 이차함수임을 증명한다.
• DP 곡선 상의 추정기는 워샤르슈타인 공간 내 지오데식을 이룬다는 것을 확립하여, 트레이드오프를 최적 운반 기하학과 연결한다.
• 전체 MSE 최소화자와 완벽한 인지 품질 추정기라는 두 극단점에서 최적 추정기를 구성한다. 후자는 전자의 확률적 변환을 통해 확보된다.
• 정규 분포에 대해 최적 추정기와 해당 DP 곡선에 대한 명시적 폐쇄형 표현을 유도한다.
• 매개변수 공간 내 선형 보간을 사용하여 DP 곡선을 따라 추정기를 생성하며, 이 보간이 최적 결과를 낳음을 보여준다.
• 정규 분포의 DP 곡선가 동일한 두 번째 모멘트 통계를 갖는 임의의 분포에 대해 DP 곡선의 하한선이 된다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 MSE–워샤르슈타인-2 트레이드오프에서 주어진 인지 품질 제약 조건 하에서 달성 가능한 최소 왜곡은 무엇인가?
• RQ2 기저 신호 분포에 관계없이 왜곡-인지 함수는 항상 이차함수인가?
• RQ3 전체 MSE 최소화자와 완벽한 인지 품질 추정기라는 두 극단점에서 DP 곡선 상의 최적 추정기를 구성할 수 있는가?
• RQ4 완벽한 인지 품질 조건 하에서 후행 샘플링은 최소 왜곡을 달성하는가?
• RQ5 DP 곡선을 따라 테스트 시간에 보간을 최적화할 수 있으며, 만약 가능하다면 어떻게 수행할 수 있는가?

주요 결과

• 정리 1에 의해 증명된 바와 같이, 어떤 기저 분포이든 간에 인지 제약 조건 P에 대해 왜곡-인지 함수는 항상 이차함수이다.
• 최적 추정기는 DP 곡선 상에서 워샤르슈타인 공간 내 지오데식을 이룬다. 이는 트레이드오프의 기하학적 기초를 제공한다.
• 정규 분포에 대해 정리 4 및 정리 5를 통해 최적 추정기와 해당 DP 곡선이 폐쇄형으로 주어진다.
• 동일한 두 번째 모멘트 통계를 갖는 임의의 분포에 대해 정규 분포의 DP 곡선은 DP 곡선의 하한선이 된다.
• 전체 MSE 최소화자와 완벽한 인지 품질 추정기 사이의 선형 보간은 전체 DP 곡선 상에서 최적 추정기를 도출한다.
• 완벽한 인지 품질 조건 하에서 후행 샘플링은 왜곡 측면에서 최적이 아니며, 더 낮은 MSE를 갖는 다른 추정기가 존재한다.