[論文レビュー] Universally Quantized Neural Compression

Eirikur Agustsson, Lucas Theis|arXiv (Cornell University)|Jun 17, 2020

Neural Networks and Applications参考文献 32被引用数 45

ひとこと要約

著者らは、微分可能で訓練とテストが一致する通信チャネルをニューラル画像圧縮のために実装するためにユニバーサル量子化を提案し、uniform noiseとhard quantizationの間を補間するsoft-roundingアプローチを含める。線形モデルとハイプリオアモデルで経験的な利得を示す。

ABSTRACT

A popular approach to learning encoders for lossy compression is to use additive uniform noise during training as a differentiable approximation to test-time quantization. We demonstrate that a uniform noise channel can also be implemented at test time using universal quantization (Ziv, 1985). This allows us to eliminate the mismatch between training and test phases while maintaining a completely differentiable loss function. Implementing the uniform noise channel is a special case of the more general problem of communicating a sample, which we prove is computationally hard if we do not make assumptions about its distribution. However, the uniform special case is efficient as well as easy to implement and thus of great interest from a practical point of view. Finally, we show that quantization can be obtained as a limiting case of a soft quantizer applied to the uniform noise channel, bridging compression with and without quantization.

研究の動機と目的

• エンドツーエンドのニューラル圧縮における非微分可能な量子化を排除して訓練とテストのずれを減らす動機づけを行う。
• 効率的で微分可能なテスト時チャネルとして普遍的量子化を導入する。
• 量子化とソフト量子化を橋渡しして、ハード量子化へアニールする際の滑らかな遷移と潜在的な利得を可能にする。
• uniform noiseと量子化を用いた訓練を安定化させる勾配推定技術を調査する。
• 単純な線形モデルとハイプリオアモデルへの影響を評価する。

提案手法

• 訓練時には微分可能な近似として加法的な一様ノイズを使用する。
• 訓練とテストの段階を合わせるため、テスト時の量子化をユニバーサル量子化に置換して微分可能性を維持する。
• 離散インデックスKをUで条件付けしたとき、ビットコストは h[Y+U] として導出する（U は一様ノイズ）。
• ノ roundingなしとハード丸めの間を補間するソフト丸め関数 s_alpha を導入する。
• U に関する期待値を計算する際の勾配分散を減らすための解析的勾配積分法を提案する。
• Kodak データに RD 曲線でアプローチを評価するため、ハイプリオアと線形モデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 ユニバーサル量子化はニューラル圧縮の効率的で微分可能なテスト時チャネルになり得るか？
• RQ2 ユニバーサル量子化を用いて訓練とテストを整合させることは、従来の訓練時ノイズ近似よりもレート歪み性能を改善するか？
• RQ3 一様ノイズとハード量子化の間を補間して微分可能性を維持することで、ソフト丸めが利点をもたらすか？
• RQ4 期待勾配などの勾配推定技術は訓練を安定させ、ソフト丸めの収束を改善するか？
• RQ5 単純な線形モデルとより複雑なハイプリオアモデルへの影響は？

主な発見

• 普遍的量子化は訓練とテストのずれを排除しつつ効率を損なわない微分可能なチャネルを生み出す。
• 量子化はソフト丸めとアニールを用いた普遍的量子化の極限ケースとして見ることができる。
• ソフト丸めと期待勾配はRD性能を改善し、特に低ビットレートとハイプリオアモデルで効果的。
• 期待勾配は訓練を安定させ、より大きなソフト丸めパラメータで収束を速める。
• モデル間で、UN + UQはUN + Qベースラインより改善することが多く、SRを追加すると特定のレートでテスト時量子化の性能を上回ることがある。