[論文レビュー] A Compression Objective and a Cycle Loss for Neural Image Compression

Çağlar Aytekin, Francesco Cricri+4 more|arXiv (Cornell University)|Jan 1, 2019

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、スパースで低エントロピーな活性化を促進し、コードドメイン歪みを低減することで、ニューラル画像圧縮を改善するための圧縮目的関数とサイクル損失を導入する。再構成損失と組み合わせることで、これらの項は自動符号化器の知覚-歪みトレードオフに影響を与える：MSEのみの学習では画像ドメイン歪みを最小化するが、サイクル損失を用いた学習では、同程度のビットレートで知覚的品質を向上させる。

ABSTRACT

In this manuscript we propose two objective terms for neural image compression: a compression objective and a cycle loss. These terms are applied on the encoder output of an autoencoder and are used in combination with reconstruction losses. The compression objective encourages sparsity and low entropy in the activations. The cycle loss term represents the distortion between encoder outputs computed from the original image and from the reconstructed image (code-domain distortion). We train different autoencoders by using the compression objective in combination with different losses: a) MSE, b) MSE and MSSSIM, c) MSE, MS-SSIM and cycle loss. We observe that images encoded by these differently-trained autoencoders fall into different points of the perception-distortion curve (while having similar bit-rates). In particular, MSE-only training favors low image-domain distortion, whereas cycle loss training favors high perceptual quality.

研究の動機と目的

• 新しい学習目的関数の導入により、ニューラル画像圧縮における知覚-歪みトレードオフを緩和すること。
• 元画像と再構成画像のエンコーダ出力の差を測定することで、コードドメイン歪みを低減すること。
• 潜在空間における低エントロピーでスパースな活性化を促進することで、圧縮効率を向上させること。
• 異なる損失の組み合わせが、画像忠実度と知覚的品質のバランスに与える影響を調査すること。

提案手法

• 圧縮目的関数をエンコーダ出力に適用し、潜在表現におけるスパarsityと低エントロピーを促進する。
• 元画像と再構成画像のエンコーダ出力の間の歪みを測定するためのサイクル損失を導入する。
• サイクル損失はコードドメイン歪み項として機能し、再構成における潜在空間の一貫性を促進する。
• 標準的な再構成損失（MSE、MSE + MSSSIM、MSE + MSSSIM + サイクル損失）と圧縮目的関数を組み合わせる。
• 自動符号化器をこれらのハイブリッド損失組み合わせで学習させ、圧縮性能への影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 圧縮目的関数を追加することで、ニューラル画像圧縮における潜在表現のスパarsityとエントロピーはどのように変化するか？
• RQ2 サイクル損失はコードドメイン歪みをどの程度低減し、知覚的品質を向上させるか？
• RQ3 異なる損失の組み合わせは、画像忠実度と知覚的品質のトレードオフにどのように影響を与えるか？
• RQ4 サイクル損失はビットレートを増加させずに、より高い知覚的品質を達成するのを支援するか？

主な発見

• MSEのみで学習した自動符号化器と比較して、サイクル損失を用いた学習では、同程度のビットレートでより高い知覚的品質が達成された。
• 圧縮目的関数は、潜在活性化におけるスパarsityと低エントロピーを成功裏に促進し、圧縮効率を向上させた。
• MSE、MS-SSIM、およびサイクル損失の組み合わせは、知覚的品質を重視する知覚-歪み曲線上の明確な点を形成した。
• MSEのみの学習では、画像ドメイン歪みは低かったが、知覚的品質は悪く、忠実度と知覚のトレードオフが確認された。