[논문 리뷰] Rethinking Lossy Compression: The Rate-Distortion-Perception Tradeoff

Yochai Blau, Tomer Michaeli|arXiv (Cornell University)|2019. 01. 23.

Image and Signal Denoising Methods참고 문헌 51인용 수 63

한 줄 요약

논문은 rate-distortion-perception 함수 R(D,P)을 도입하여 비트레이트, 왜곡, 및 지각 품질 간의 균형을 정량화하고, 지각 품질이 일반적으로 필요한 속도나 왜곡을 증가시킨다는 것을 증명한다. Bernoulli 및 MNIST 토이 예제로 지각 제약이 rate-distortion 곡선을 상승시킴을 분석한다.

ABSTRACT

Lossy compression algorithms are typically designed and analyzed through the lens of Shannon's rate-distortion theory, where the goal is to achieve the lowest possible distortion (e.g., low MSE or high SSIM) at any given bit rate. However, in recent years, it has become increasingly accepted that "low distortion" is not a synonym for "high perceptual quality", and in fact optimization of one often comes at the expense of the other. In light of this understanding, it is natural to seek for a generalization of rate-distortion theory which takes perceptual quality into account. In this paper, we adopt the mathematical definition of perceptual quality recently proposed by Blau & Michaeli (2018), and use it to study the three-way tradeoff between rate, distortion, and perception. We show that restricting the perceptual quality to be high, generally leads to an elevation of the rate-distortion curve, thus necessitating a sacrifice in either rate or distortion. We prove several fundamental properties of this triple-tradeoff, calculate it in closed form for a Bernoulli source, and illustrate it visually on a toy MNIST example.

연구 동기 및 목표

• 지각 품질을 rate-distortion 이론에 포함시켜야 할 필요성을 제시한다.
• Rate-distortion-perception 함수 R(D,P)을 정의하고 분석한다.
• 일반 소스와 왜곡에 대해 R(D,P)의 기본적 성질을 증명한다.
• 간단한 소스에 대한 해석적(닫힌 형식의) 통찰과 실용적 왜곡에 대한 상한을 제시한다.
• 토이 MNIST 실험으로 트레이드오프를 삽입하고 방법 설계에 대한 시사점을 논의한다.

제안 방법

• Blau & Michaeli (2018)의 지각 품질 정의 d(pX, pXhat)을 채택한다.
• R(D,P)을 E[Δ(X,Xhat)] ≤ D 및 d(pX, pXhat) ≤ P를 만족하는 I(X; Xhat)의 최솟값으로 정의한다.
• 타당한 예시로 Bernoulli 소스에 대한 닫힌 형태를 도출하여 트레이드오프를 설명한다(엔트로피 H_b 및 H_t 사용).
• 약한 가정(A1, A2) 아래에서 R(D,P)의 단조성 및 볼록성을 증명한다.
• 제곱 오차 사례에 대한 상한을 제공: R(D,0) ≤ R(D/2, ∞).
• 신경망 인코더-디코더와 GAN 기반 지각 손실을 사용한 토이 MNIST 실험으로 보여준다.

실험 결과

연구 질문

• RQ1 지각 품질 제약을 강제하는 것이 rate-distortion 트레이드오프에 어떤 영향을 미치는가?
• RQ2 다른 왜곡 및 발산에 대해 R(D,P)의 일반적인 성질은 무엇인가?
• RQ3 완벽한 지각 품질이 속도를 증가시키지 않고 달성될 수 있는가? 그렇다면 왜곡은 얼마나 올라갈 수 있는가?
• RQ4 단순한(Bernoulli) 소스와 복잡한(MNIST with neural nets) 소스가 R(D,P) 트레이드오프를 어떻게 보여주는가?

주요 결과

• 지각 품질을 제약하면 rate-distortion 곡선이 상승하여 속도, 왜곡, 지각 간의 트레이드오프를 시사한다.
• Bernoulli 소스의 경우 P ≤ p일 때 R(D,P)가 고전적 R(D)에서 벗어나 지각 제약 효과를 보여준다.
• 주어진 왜곡에서 완벽한 지각 품질을 달성하기 위한 속도 증가가 유계되어 있다(R(D,0) ≤ R(D/2, ∞))이며 제곱오차 왜곡에 해당한다.
• MSE뿐 아니라 깊은 특징 기반 왜곡을 포함한 왜곡 측정에서도 세 요소 간의 삼자 트레이드오프가 지속된다.
• MNIST 실험은 지각적으로 제약된 재구성이 매우 낮은 속도에서도 시각적으로 즐거움을 유지하지만 동일성 보존은 실패할 수 있음을 보여준다.