[論文レビュー] Soft then Hard: Rethinking the Quantization in Neural Image Compression

Zongyu Guo, Zhizheng Zhang+2 more|arXiv (Cornell University)|Apr 12, 2021

Advanced Data Compression Techniques参考文献 41被引用数 7

ひとこと要約

本論文は、ニューラル画像圧縮のためのソフト・トゥ・ハード量子化戦略を提案する。まず、滑らかで表現力のある潜在表現を学習するために、加法的均一ノイズを用いて訓練を行い、その後、ハード量子化による微調整によりトレーニング時とテスト時の不一致を是正する。さらに、新たな変分上界を導出し、スケーリングされた加法的均一ノイズを導入することで、学習可能なノイズスケールを介して適応的量子化粒度を実現し、最先端モデル比で8.9%のBDレート削減を達成した。

ABSTRACT

Quantization is one of the core components in lossy image compression. For neural image compression, end-to-end optimization requires differentiable approximations of quantization, which can generally be grouped into three categories: additive uniform noise, straight-through estimator and soft-to-hard annealing. Training with additive uniform noise approximates the quantization error variationally but suffers from the train-test mismatch. The other two methods do not encounter this mismatch but, as shown in this paper, hurt the rate-distortion performance since the latent representation ability is weakened. We thus propose a novel soft-then-hard quantization strategy for neural image compression that first learns an expressive latent space softly, then closes the train-test mismatch with hard quantization. In addition, beyond the fixed integer quantization, we apply scaled additive uniform noise to adaptively control the quantization granularity by deriving a new variational upper bound on actual rate. Experiments demonstrate that our proposed methods are easy to adopt, stable to train, and highly effective especially on complex compression models.

研究の動機と目的

• 微分可能な量子化近似によって引き起こされるトレーニング時とテスト時の不一致を是正すること。
• ストレートスラッシュ推定器とソフト・トゥ・ハードアニーリングによる潜在表現の能力の低下を是正すること。
• 加法的均一ノイズによる表現力のある潜在空間の学習を維持するとともに、そのトレーニング時とテスト時の不一致を解消すること。
• 学習可能なノイズスケールを介して、画像コンテンツおよび潜在チャネルの特性に応じた適応的量子化粒度を実現すること。
• アーキテクチャの変更なしに、既存のノイズ緩和圧縮モデルを向上可能なプラグアンドプレイ手法を開発すること。

提案手法

• まず、量子化のソフトな近似として加法的均一ノイズを用いてエンコーダーを訓練し、滑らかで表現力のある潜在空間を学習する。
• 次に、ハード量子化を用いてデコーダーを事後調整することで、実際のテスト時の挙動と整合させ、トレーニング時とテスト時の不一致を是正する。
• 実際のレートに関する新たな変分上界を導出し、スケーリングされた加法的均一ノイズを導入することで、要素ごとの適応的量子化ステップサイズを可能にする。
• ノイズスケールはエンド・トゥ・エンドで学習され、画像のテクスチャやチャネル固有の複雑さと相関する文脈に応じた量子化粒度を実現する。
• この手法はプラグアンドプレイである。ソフト・トゥ・ハード戦略とスケーリングされたノイズは、任意の既存のノイズ緩和圧縮モデルに適用可能である。
• このアプローチは、ノイズベースのトレーニングの表現力と、推論時のハード量子化の正確性を組み合わせ、レート・ディストーション性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ストレートスラッシュ推定器とソフト・トゥ・ハードアニーリングは、トレーニング時とテスト時の不一致を解消しているにもかかわらず、なぜレート・ディストーション性能を低下させるのか？
• RQ2 加法的均一ノイズによる表現力のある潜在空間を維持しつつ、そのトレーニング時とテスト時の不一致を解消することは可能か？
• RQ3 画像コンテンツおよび潜在チャネルの特性に応じて、量子化粒度をどのように適応的に制御できるか？
• RQ4 2段階のトレーニング戦略（ソフトトレーニングの後、ハード微調整）は、多様なモデルで圧縮性能を向上させるか？
• RQ5 学習可能な適応的ノイズスケールは、固定された量子化ステップサイズを超えて、レート・ディストーション効率を向上させられるか？

主な発見

• ソフト・トゥ・ハード量子化戦略は、両技術を併用した場合、最先端モデル（Cheng et al., 2020）に対して8.9%のBDレート削減を達成した。
• 提案手法は全ビットレート範囲でレート・ディストーション性能を向上させ、従来のアニーリング手法が性能を発揮しない高ビットレート領域でも安定した向上効果を示した。
• スケーリングされた均一ノイズを適用することで、要素ごとの適応的量子化が可能となり、学習されたノイズスケールは画像のテクスチャやチャネル固有の複雑さと強く相関した。
• 本手法は、STEベースおよびSGAベースの微調整を上回り、訓練の不安定性や性能の劣化を回避した。
• MS-SSIMを最適化対象とした場合、本手法は全ビットレート範囲で安定した向上を示し、視覚的に優れた再構成を実現した。
• 本手法は頑健で汎用性が高く、Guo et al. (2020) やその他の強力なモデルに適用した場合でも、最先端の結果を達成し、VVC仕様をも上回った。