[論文レビュー] G-VAE: A Continuously Variable Rate Deep Image Compression Framework

Ze Cui, Jing Wang+3 more|arXiv (Cornell University)|Mar 4, 2020

Advanced Data Compression Techniques参考文献 30被引用数 26

ひとこと要約

G-VAEは、エンコーダ出力とデコーダ入力にそれぞれ1つのゲインユニットを追加するだけで、1つのモデルで連続的に変化するレート符号化を可能にする、新しい深層画像圧縮フレームワークです。この最小限の変更により、元のモデルの性能を保ちながら、計算コストおよびパラメータの増加をほとんど伴わず、KodakデータセットにおいてPSNRおよびMS-SSIMの両面で先行手法を上回る高い圧縮効率を達成しています。

ABSTRACT

Rate adaption of deep image compression in a single model will become one of the decisive factors competing with the classical image compression codecs. However, until now, there is no perfect solution that neither increases the computation nor affects the compression performance. In this paper, we propose a novel image compression framework G-VAE (Gained Variational Autoencoder), which could achieve continuously variable rate in a single model. Unlike the previous solutions that encode progressively or change the internal unit of the network, G-VAE only adds a pair of gain units at the output of encoder and the input of decoder. It is so concise that G-VAE could be applied to almost all the image compression methods and achieve continuously variable rate with negligible additional parameters and computation. We also propose a new deep image compression framework, which outperforms all the published results on Kodak datasets in PSNR and MS-SSIM metrics. Experimental results show that adding a pair of gain units will not affect the performance of the basic models while endowing them with continuously variable rate.

研究の動機と目的

• 計算コストの増加や性能の低下を伴わずに、深層画像圧縮におけるレート適応の課題に取り組む。
• 1つのトレーニング済みモデルで連続的に変化するビットレートをサポートする統合フレームワークを構築する。
• 既存の深層圧縮モデルとの広範な互換性を確保するため、アーキテクチャの変更を最小限に抑える。
• Kodakのような標準ベンチマークで最先端の性能を達成しつつ、圧縮効率を損なわないようにする。
• 動的ネットワーク環境で柔軟なビットレート制御を必要とする実用的導入を可能にする。

提案手法

• エンコーダ出力とデコーダ入力にそれぞれ学習可能なゲインユニットのペアを導入し、連続的なレート制御を可能にする。
• ゲインユニットを用いて符号化および復号化の段階で潜在表現をスケーリングし、滑らかなビットレート調整を実現する。
• 標準的な変分オートエンコーダの目的関数に従い、元のモデルアーキテクチャを維持したまま、フレームワーク全体をエンドツーエンドで訓練する。
• ゲインユニットが微分可能であることを保証し、トレーニング中に勾配ベース最適化が可能になるようにする。
• 既存の深層圧縮モデルに最小限のアーキテクチャ的変更で適用し、パラメータの増加をほとんど認めない。
• ゲインユニットの追加により、元のモデルの圧縮性能を損なわず、変動するビットレートへの対応能力を追加する。

実験結果

リサーチクエスチョン

• RQ1 最小限のアーキテクチャ的変更により、深層コーデックにおける連続的変化するレート圧縮を実現できるか？
• RQ2 ゲインユニットの追加がベースモデルの圧縮性能に影響を与えるか？
• RQ3 提案されたフレームワークは、Kodakのような標準ベンチマークで、既存の最先端手法を上回るか？
• RQ4 既存モデルにゲインユニットを統合する際の計算コストおよびパラメータのオーバーヘッドはどの程度か？
• RQ5 幅広いビットレート範囲において、フレームワークがどのように性能を維持するか？

主な発見

• G-VAEは、1モデルあたりたった2つの追加学習可能なパラメータで、連続的に変化するレートの画像圧縮を実現できる。
• ゲインユニットの追加により、あらゆるビットレートにおいてベースモデルの圧縮性能が劣化しない。
• フレームワークはKodakデータセットで最先端の結果を達成し、PSNRおよびMS-SSIMの両面で、発表済みのすべての手法を上回っている。
• 計算コストおよびパラメータのオーバーヘッドがほとんどないため、実世界の展開に適している。
• ゲインユニットにより、複数のモデルやプログレッシブ符号化段階を必要とせずに、滑らかなビットレート適応が可能である。
• フレームワークは、幅広い既存の深層画像圧縮アーキテクチャと互換性がある。