[論文レビュー] Lossy Image Compression with Normalizing Flows

Leonhard Helminger, Abdelaziz Djelouah+2 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Data Compression Techniques被引用数 5

ひとこと要約

この論文は、画像から潜在空間への双方向写像を学習する正規化フローを用いた、新しい深層画像圧縮フレームワークを提案している。この手法により、低ビットレートからほぼ無損失圧縮まで広い範囲のビットレートで損失圧縮が可能となり、再エンコードによって品質を維持する。この方法は、可逆変換の後に不逆な情報損失を遅らせるため、従来のオートエンコーダー基盤の手法よりも優れている。

ABSTRACT

Deep learning based image compression has recently witnessed exciting progress and in some cases even managed to surpass transform coding based approaches that have been established and refined over many decades. However, state-of-the-art solutions for deep image compression typically employ autoencoders which map the input to a lower dimensional latent space and thus irreversibly discard information already before quantization. Due to that, they inherently limit the range of quality levels that can be covered. In contrast, traditional approaches in image compression allow for a larger range of quality levels. Interestingly, they employ an invertible transformation before performing the quantization step which explicitly discards information. Inspired by this, we propose a deep image compression method that is able to go from low bit-rates to near lossless quality by leveraging normalizing flows to learn a bijective mapping from the image space to a latent representation. In addition to this, we demonstrate further advantages unique to our solution, such as the ability to maintain constant quality results through re-encoding, even when performed multiple times. To the best of our knowledge, this is the first work to explore the opportunities for leveraging normalizing flows for lossy image compression.

研究の動機と目的

• 最新のオートエンコーダー基盤の画像圧縮では、量子化の前に情報を不可逆的に破棄するため、品質の範囲が限定されている問題を解決すること。
• 従来の方法が量子化の前に可逆変換を用いるのをヒントに、可逆な正規化フローの損失圧縮における可能性を調査すること。
• 1つの学習済みモデルを用いて、低ビットレートからほぼ無損失圧縮まで連続的な品質レベルを実現すること。
• 複数回の再エンコード操作においても一貫した品質を維持すること。これは、既存の深層圧縮手法では一般的に見られない特性である。

提案手法

• 画像空間から潜在表現への双射（可逆かつ微分可能）写像を学習するために正規化フローを活用する。
• 可逆変換の後にのみ量子化を適用することで、潜在コードから元の画像を再構築できる能力を維持する。
• 潜在空間における複雑で柔軟な分布をモデル化するために正規化フローのアーキテクチャを用い、高精度な圧縮を実現する。
• 尤度に基づく目的関数を用いてフローを訓練し、圧縮効率と再構築品質の両方を最適化する。
• エンド・トゥ・エンドの訓練を可能にするために、微分可能な量子化ステップを導入する。
• 潜在空間の調整によってビットレートを変更することで、複数の品質レベルを実現し、別々のモデルを必要としない。

実験結果

リサーチクエスチョン

• RQ1 正規化フローを用いることで、低ビットレートからほぼ無損失圧縮まで連続的な品質レベルを実現する損失圧縮が有効に可能になるか？
• RQ2 量子化の前に可逆変換を用いることで、従来のオートエンコーダー基盤の手法と比較して、圧縮性能と再構築品質にどのような影響を与えるか？
• RQ3 提案手法は、従来のオートエンコーダー基盤の手法とは異なり、複数回の再エンコード操作においても一貫した画像品質を維持できるか？
• RQ4 圧縮パイプラインに正規化フローを用いる場合、圧縮効率と再構築忠実度のトレードオフはどのように変化するか？

主な発見

• 提案手法は、ほぼ無損失品質を含む広いビットレート範囲で、競争力あるか、それ以上のレート・ディストーション性能を達成している。
• 複数回の再エンコード操作においても一貫した画像品質を維持でき、従来のオートエンコーダー基盤のモデルとは対照的に、独自の利点を有している。
• 正規化フローの使用により、ビットレートに応じた連続的かつ柔軟な品質スケーリングが可能となり、異なる品質レベルに別々のアーキテクチャを必要とするモデルとは異なっている。
• 可逆変換の後に不逆な情報損失を遅らせるため、従来のオートエンコーダー基盤の圧縮手法よりも、より高い表現能力を維持できている。