[논문 리뷰] On Perceptual Lossy Compression: The Cost of Perceptual Reconstruction and An Optimal Training Framework

Zeyu Yan, Fei Wen외 3명|arXiv (Cornell University)|2021. 06. 05.

Advanced Image Processing Techniques참고 문헌 45인용 수 6

한 줄 요약

이 논문은 손실 압축에서 완벽한 인지적 품질을 달성하는 데에는 동일 비트 레이트에서 최소 달성 가능한 MSE 왜곡이 정확히 두 배가 된다고 이론적으로 증명한다. 이는 MSE 최적화된 인코더에 조건이 부여된 GAN을 사용하는 새로운 학습 프레임워크를 제안하며, 이는 완벽한 인지적 재구성 조건 하에서 가능한 최저의 MSE 왜곡을 달성하여 전통적인 왜곡-적대적 손실 방법을 능가한다.

ABSTRACT

Lossy compression algorithms are typically designed to achieve the lowest possible distortion at a given bit rate. However, recent studies show that pursuing high perceptual quality would lead to increase of the lowest achievable distortion (e.g., MSE). This paper provides nontrivial results theoretically revealing that, extit{1}) the cost of achieving perfect perception quality is exactly a doubling of the lowest achievable MSE distortion, extit{2}) an optimal encoder for the "classic" rate-distortion problem is also optimal for the perceptual compression problem, extit{3}) distortion loss is unnecessary for training a perceptual decoder. Further, we propose a novel training framework to achieve the lowest MSE distortion under perfect perception constraint at a given bit rate. This framework uses a GAN with discriminator conditioned on an MSE-optimized encoder, which is superior over the traditional framework using distortion plus adversarial loss. Experiments are provided to verify the theoretical finding and demonstrate the superiority of the proposed training framework.

연구 동기 및 목표

• 손실 압축에서 인지적 품질과 왜곡 간의 상호 상관 관계를 정량적으로 분석하기.
• 인지적 제약 조건이 본질적으로 최소 달성 가능한 왜곡을 증가시킬 수 있는지 확인하기.
• 고정된 비트 레이트에서 완벽한 인지적 재구성 조건 하에 가능한 최저의 MSE 왜곡을 달성하는 학습 프레임워크 개발하기.
• 인지 압축에서 인코더와 디코더 학습에 인지 손실이 필수적인지 탐구하기.

제안 방법

• 완벽한 인지적 품질 조건 하에서의 비트 전달률-왜곡 한계를 이론적으로 유도하여, 표준 비트 전달률-왜곡 최적화와 비교해 최소 MSE 왜곡이 정확히 두 배가 된다고 밝힘.
• 고전적인 비트 전달률-왜곡 문제에서 최적의 인코더가 완벽한 인지적 품질 제약 조건 하에서도 최적임을 증명함.
• 새로운 학습 프레임워크 제안: 먼저 MSE 손실만을 사용해 인코더를 학습하고, 사전 학습된 인코더에 조건이 부여된 디코더를 적대적 손실을 사용해 학습함.
• GAN의 디스criminator는 MSE 최적화된 인코더에 조건이 부여되어, 디코더가 왜곡 손실 없이 인지적으로 현실적인 출력을 생성하도록 보장함.
• 이 프레임워크는 디코더 학습 시 왜곡 손실을 사용하지 않고, 인코더 학습 시 인지 손실을 사용하지 않아 최적화 과정을 단순화함.
• MNIST에서의 실험은 이론적 결과를 확인하고 기존의 왜곡-적대적 손실(DAL) 프레임워크보다 뛰어난 성능을 보여줌.

실험 결과

연구 질문

• RQ1 손실 압축에서 완벽한 인지적 품질을 강제로 적용할 경우, 최소 MSE 왜곡이 얼마나 증가하는가?
• RQ2 MSE 왜곡 최적화된 인코더는 완벽한 인지적 품질 제약 조건 하에서도 최적일 수 있는가?
• RQ3 인코더 학습 시 인지 손실 없이도 인지적 재구성을 달성할 수 있는가?
• RQ4 인지 압축 시스템에서 디코더 학습에 왜곡 손실이 필수적인가?
• RQ5 MSE 최적화된 인코더에 조건이 부여된 GAN 기반 프레임워크는 기존의 왜곡-적대적 손실 학습 방식을 능가할 수 있는가?

주요 결과

• 동일한 비트 레이트에서 완벽한 인지적 품질 조건 하에 최소 달성 가능한 MSE 왜곡은 표준 비트 전달률-왜곡 문제의 두 배이다.
• MSE 왜곡 최적화된 인코더는 완벽한 인지적 품질 제약 조건 하에서도 최적이다.
• 인코더 학습에 인지 손실이 필요하지 않으며, 최적의 인코더는 이미 MSE 최적화되어 있기 때문이다.
• 디코더 학습에 왜곡 손실이 필요하지 않으며, 제안된 프레임워크는 오직 적대적 손실만을 사용해 완벽한 인지적 재구성을 달성한다.
• MSE 최적화된 인코더에 조건이 부여된 GAN 기반 프레임워크는 전통적인 왜곡-적대적 손실(DAL) 프레임워크보다 인지적 품질과 MSE 왜곡 양면에서 뛰어나다.
• MNIST에서의 실험 결과는 인지 제약 조건 하에서의 비트 전달률-왜곡 상호 관계가 이론적 예측과 정확히 일치하며, MSE 왜곡이 정확히 두 배로 증가함을 확인한다.