[論文レビュー] Asymmetric Gained Deep Image Compression With Continuous Rate Adaptation

Ze Cui, Jing Wang+4 more|arXiv (Cornell University)|Mar 4, 2020

Advanced Data Compression Techniques被引用数 9

ひとこと要約

本稿では、ゲインユニットと指数補間を用いて1つのモデルで連続的なレート適応を実現する深層画像圧縮フレームワークAG-VAEを提案する。計算コストの増加を最小限に抑えつつ、SOTAのレート-歪度性能を達成する。本手法は、非対称なガウスエントロピー・モデルを導入し、PSNRおよびMS-SSIMの両面で対称モデルを上回る性能を発揮する。

ABSTRACT

With the development of deep learning techniques, the combination of deep learning with image compression has drawn lots of attention. Recently, learned image compression methods had exceeded their classical counterparts in terms of rate-distortion performance. However, continuous rate adaptation remains an open question. Some learned image compression methods use multiple networks for multiple rates, while others use one single model at the expense of computational complexity increase and performance degradation. In this paper, we propose a continuously rate adjustable learned image compression framework, Asymmetric Gained Variational Autoencoder (AG-VAE). AG-VAE utilizes a pair of gain units to achieve discrete rate adaptation in one single model with a negligible additional computation. Then, by using exponential interpolation, continuous rate adaptation is achieved without compromising performance. Besides, we propose the asymmetric Gaussian entropy model for more accurate entropy estimation. Exhaustive experiments show that our method achieves comparable quantitative performance with SOTA learned image compression methods and better qualitative performance than classical image codecs. In the ablation study, we confirm the usefulness and superiority of gain units and the asymmetric Gaussian entropy model.

研究の動機と目的

• 計算コストの増加や性能の低下を伴わずに、学習済み画像圧縮における連続的レート適応の課題に対処すること。
• 複数の固定レートモデルの限界を克服し、トレーニングコストとメモリ使用量の増加を防ぐこと。
• さまざまなVAEベースのアーキテクチャと互換性を持つ、プラグアンドプレイ式のレート適応ソリューションを開発すること。
• 非ガウス的かつ非対称な潜在分布に対して、非対称ガウスモデルを用いてエントロピー推定の精度を向上させること。
• 追加のトレーニングやモジュールなしに、連続的なビットレート範囲におけるスムーズなレート制御を可能にすること。

提案手法

• チャネル単位の乗算により潜在表現を再スケーリングするゲインユニットを導入し、計算量をほとんど増加させずに離散的レート適応を実現する。
• 再構成品質を維持し、性能の低下を回避するため、デコーダーの前段に逆ゲインユニットを適用する。
• 任意のビットレート範囲で連続的なゲインベクトルを生成するための指数補間式を導出することで、再トレーニングなしに滑らかなレート制御を実現する。
• 非ガウス的で非対称な潜在分布に対してエントロピーをより正確に推定できる非対称ガウスエントロピー・モデルを提案する。
• Ballé et al. [7] や Minnen et al. [20] などの既存のVAEベースのフレームワークにゲインユニットを統合し、汎用性と性能を検証する。
• ハイパープライアに基づくエントロピーモデリングに、HCVR手法による柔軟なハイパープライア・レート制御を組み合わせ、エントロピー推定の精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 1つの学習済み画像圧縮モデルが、性能の低下や追加トレーニングなしに連続的レート適応を達成できるか。
• RQ2 ゲインユニット機構は、計算コストをほとんど増加させずに、離散的および連続的レート適応を効果的に実現できるか。
• RQ3 非対称ガウスエントロピー・モデルは、対称モデルと比較してレート-歪度性能を向上させるか。
• RQ4 提案されたフレームワークは、多様なビットレート範囲で複数の固定レートモデルと同等またはそれ以上の性能を維持または上回れるか。
• RQ5 指数補間は、再構成忠実度を保持したまま、連続的レート制御をどのように実現するか。

主な発見

• AG-VAEフレームワークは、SOTAの学習済み画像圧縮手法と同等のレート-歪度性能を達成しており、PSNRおよびMS-SSIMの結果が複数の固定レートモデルと同等である。
• 指数補間により、追加のトレーニングやモデル再トレーニングなしに、全ビットレート範囲にわたる連続的レート適応が可能である。
• 非対称ガウスエントロピー・モデルは圧縮性能を向上させ、AG-VAEはテスト範囲全体で対称型の対応モデル（SG-VAE）をPSNRおよびMS-SSIMの両面で上回る。
• ハイパープライア・レート制御を柔軟に可能にするHCVR手法は、全ビットレート範囲でCVR手法よりもわずかに優れたR-D性能を示す。
• ゲインユニット機構は強力な汎用性を示し、Ballé et al. [7] や Minnen et al. [20] のようなバックボーンアーキテクチャに統合された際、連続的レート適応を効果的に実現する。
• アブレーションスタディの結果、ゲインユニットと非対称ガウスモデルの両方が最適性能を達成するために不可欠であり、視覚的品質およびR-D効率の両面で顕著な向上が確認された。