[論文レビュー] On Perceptual Lossy Compression: The Cost of Perceptual Reconstruction and An Optimal Training Framework

Zeyu Yan, Fei Wen+3 more|arXiv (Cornell University)|Jun 5, 2021

Advanced Image Processing Techniques参考文献 45被引用数 6

ひとこと要約

この論文は、損失圧縮における完全な知覚的品質を達成するには、与えられたビットレートにおける最小可能MSE歪みが正確に2倍になることを理論的に証明している。また、MSE最適化されたエンコーダーに条件付けられたGANを用いた新しいトレーニングフレームワークを提案しており、これは完全な知覚的再構成下での可能な最小MSE歪みを達成し、従来の歪み＋敵対的損失手法を上回っている。

ABSTRACT

Lossy compression algorithms are typically designed to achieve the lowest possible distortion at a given bit rate. However, recent studies show that pursuing high perceptual quality would lead to increase of the lowest achievable distortion (e.g., MSE). This paper provides nontrivial results theoretically revealing that, extit{1}) the cost of achieving perfect perception quality is exactly a doubling of the lowest achievable MSE distortion, extit{2}) an optimal encoder for the "classic" rate-distortion problem is also optimal for the perceptual compression problem, extit{3}) distortion loss is unnecessary for training a perceptual decoder. Further, we propose a novel training framework to achieve the lowest MSE distortion under perfect perception constraint at a given bit rate. This framework uses a GAN with discriminator conditioned on an MSE-optimized encoder, which is superior over the traditional framework using distortion plus adversarial loss. Experiments are provided to verify the theoretical finding and demonstrate the superiority of the proposed training framework.

研究の動機と目的

• 損失圧縮における知覚的品質と歪みのトレードオフを定量的に分析すること。
• 知覚的制約が本質的に最小達成可能歪みを増加させるかどうかを特定すること。
• 固定ビットレート下で完全な知覚的再構成を達成する際の最小MSE歪みを達成するトレーニングフレームワークを開発すること。
• 知覚的圧縮におけるエンコーダーとデコーダーのトレーニングに知覚的損失が必要かどうかを調査すること。

提案手法

• 理論的分析により、完全な知覚的品質下でのレート歪み境界を導出し、標準のレート歪み最適化と比較して最小MSE歪みが正確に2倍になることを示した。
• 古典的なレート歪み問題における最適エンコーダーが、完全な知覚的品質制約下でも最適であることが証明された。
• 新しいトレーニングフレームワークを提案：まずMSE損失のみでエンコーダーをトレーニングし、その後、事前にトレーニングされたエンコーダーに条件付けられた敵対的損失でデコーダーをトレーニングする。
• GANのディスクラミネーターはMSE最適化エンコーダーに条件付けられており、これによりデコーダーは歪み損失を必要とせずに知覚的に現実的な出力を学習できる。
• このフレームワークはデコーダーのトレーニングで歪み損失を使用せず、エンコーダーのトレーニングで知覚的損失を使用しないため、最適化プロセスが簡素化される。
• MNISTにおける実験により理論的結果が妥当であることが確認され、従来の歪み＋敵対的損失（DAL）フレームワークを上回る優れた性能が示された。

実験結果

リサーチクエスチョン

• RQ1 損失圧縮において完全な知覚的品質を強制すると、最小MSE歪みがどの程度増加するか、正確なコストは何か？
• RQ2 MSE歪み最適化されたエンコーダーは、完全な知覚的品質制約下でも最適であるか？
• RQ3 エンコーダーのトレーニング中に知覚的損失を使用せずに知覚的再構成を達成できるか？
• RQ4 知覚的圧縮システムにおけるデコーダーのトレーニングに歪み損失は必要か？
• RQ5 MSE最適化エンコーダーに条件付けられたディスクラミネーターを備えたGANベースのフレームワークは、従来の歪み＋敵対的損失トレーニングを上回れるか？

主な発見

• 同じビットレート下で完全な知覚的品質を満たす場合、最小MSE歪みは標準のレート歪み最適化問題におけるものと比べて正確に2倍になる。
• MSE歪み最適化されたエンコーダーは、完全な知覚的品質制約下でも最適である。
• 知覚的損失はエンコーダーのトレーニングに不要であり、最適エンコーダーはすでにMSE最適化されているからである。
• 歪み損失はデコーダーのトレーニングに不要である。なぜなら、提案されたフレームワークは歪み損失を一切使用せず、敵対的損失のみで完全な知覚的再構成を達成できるからである。
• MSE最適化エンコーダーに条件付けられたディスクラミネーターを備えた提案されたGANベースのフレームワークは、知覚的品質およびMSE歪みの両面で、従来の歪み＋敵対的損失（DAL）フレームワークを上回っている。
• MNISTにおける実験結果により、知覚的制約下でのレート歪みトレードオフが、MSE歪みが2倍になるという理論的予測と正確に一致することが確認された。