[論文レビュー] Autoencoder based image compression: can the learning be quantization independent?

Thierry Dumas, Aline Roumy+1 more|arXiv (Cornell University)|Feb 23, 2018

Advanced Data Compression Techniques参考文献 13被引用数 7

ひとこと要約

本論文では、1つの深層オートエンコーダーが、各特徴マップごとの共有変換および量子化ステップサイズを学習することで、再訓練を必要とせずに複数のレート・ディストーションポイントで競争力ある画像圧縮性能を達成できることを示している。主な貢献は、テスト時の量子化ステップサイズが変化しても性能劣化が生じない、量子化に依存しない学習である。

ABSTRACT

This paper explores the problem of learning transforms for image compression via autoencoders. Usually, the rate-distortion performances of image compression are tuned by varying the quantization step size. In the case of autoen-coders, this in principle would require learning one transform per rate-distortion point at a given quantization step size. Here, we show that comparable performances can be obtained with a unique learned transform. The different rate-distortion points are then reached by varying the quantization step size at test time. This approach saves a lot of training time.

研究の動機と目的

• 1つの学習済みオートエンコーダー変換が、再訓練を伴わずに複数のレート・ディストーションポイントをサポートできるかどうかを調査すること。
• 各特徴マップごとに量子化ステップサイズを明示的に学習することで、テスト時のレート適応が可能かどうかを特定すること。
• 固定量子化を前提とした従来の方法と比較して、量子化に依存しない学習の性能を評価すること。
• 変換と量子化パラメータを同時に学習することで、圧縮効率が向上するかどうかを評価すること。
• 訓練時に使用した量子化ステップサイズとは異なる値でテストされた場合、学習済み表現が性能を維持できるかどうかを評価すること。

提案手法

• サイズ不変性を保証するため、全結合層を避けて畳み込み層と非線形性を備えた1つの深層オートエンコーダーを学習する。
• 潜在表現 $\mathbf{Y}$ の $m$ 個の特徴マップそれぞれに、学習可能な量子化ステップサイズ $\delta_i$ を導入し、固定された正規化ベースのビット割り当てを置き換える。
• レート・ディストーションの目的関数を $\min_{\theta, \varphi_e, \varphi_d, \phi} \mathbb{E}[\|\mathbf{X} - \overline{g}_d(\mathcal{Q}(\overline{g}_e(\mathbf{X}; \theta, \varphi_e)); \varphi_d, \phi)\|_F^2 + \gamma \sum_i H_i]$ として定式化し、$H_i$ は $i$ 番目の特徴マップのエントロピーを表す。
• 勾配ベース最適化を可能にするために、非微分可能な量子化を一様ノイズ注入のテクニックで近似する。
• 24,000枚の $256 \times 256$ サイズのImageNet画像でオートエンコーダーを学習し、Kodak 24枚のグレースケール画像を用いて、テスト時の異なる量子化ステップサイズで評価する。
• 量子化係数の経験的エントロピーを用いてレートを推定し、損失なし符号化を用いてレート推定値の妥当性を検証する（差異 < 0.04 bpp）。

実験結果

リサーチクエスチョン

• RQ1 1つの学習済みオートエンコーダー変換が、再訓練を伴わずに複数のビットレートで競争力あるレート・ディストーション性能を達成できるか？
• RQ2 各特徴マップごとに量子化ステップサイズを明示的に学習することで、テスト時の効果的なレート適応が可能になるか？
• RQ3 固定量子化を学習段階で前提とした従来の方法と比較して、変換と量子化の同時学習の性能はいかが？
• RQ4 学習済み潜在表現は、推論時に量子化ステップサイズが訓練時とは異なる場合でも、性能を維持できるか？
• RQ5 1つのモデルで動作する場合、JPEG2000 や H.265 といった標準コデックを上回るレート・ディストーション性能を達成できるか？

主な発見

• 各特徴マップごとに学習可能な量子化ステップサイズを備えた1つのオートエンコーダーは、1レート・ディストーションポイントごとに別々に訓練したモデルと同等のレート・ディストーション性能を達成した。
• 量子化に依存しないモデルの性能は、固定量子化ステップサイズ（1.0）を用いた学習済み正規化手法のモデルとほぼ同一であり、量子化に使用するパラメータ数が128対33,024に比べて大幅に少ないにもかかわらず、性能劣化が見られない。
• 学習済み潜在表現では、量子化ステップサイズとレートの間に線形関係が見られ、エントロピーが特徴マップ全体で予測可能にスケーリングされた。
• 全テストレートでJPEG2000を上回り、優れたレート・ディストーション効率を示した。
• テスト時の異なる量子化ステップサイズ（$\beta = 1.0$ から $10.0$）を用いたレート適応でも一貫した性能が得られ、量子化変動に強いことが確認された。
• 損失なし符号化による実際のレートと推定レートの差は0.04 bpp未満であり、エントロピーに基づくレート推定の正確性が裏付けられた。