[論文レビュー] Soft-to-Hard Vector Quantization for End-to-End Learned Compression of Images and Neural Networks.

Eirikur Agustsson, Fabian Mentzer+5 more|arXiv (Cornell University)|Apr 3, 2017

Image and Signal Denoising Methods参考文献 22被引用数 24

ひとこと要約

本論文は、微分可能で柔らかい量子化から離散的で硬い量子化への段階的冷却（アンニューリング）を用いる、ソフトからハードへのベクトル量子化手法を導入し、画像およびニューラルネットワーク圧縮のエンド・ツー・エンド学習を可能にした。この手法は、エントロピーと量子化の微分可能緩和を用いて、コンパクトで圧縮可能な表現を学習することで、画像圧縮およびモデル圧縮の両面で最先端の性能を達成した。

ABSTRACT

In this work we present a new approach to learn compressible representations in deep architectures with an end-to-end training strategy. Our method is based on a soft relaxation of quantization and entropy, which we anneal to their discrete counterparts throughout training. We showcase this method for two challenging applications: Image compression and neural network compression. While these tasks have typically been approached with different methods, our soft-to-hard quantization approach gives state-of-the-art results for both.

研究の動機と目的

• ディープネットワークにおける圧縮可能な表現を学習するための統一的でエンド・ツー・エンドでトレーニング可能な手法の開発。
• バックプロパゲーションによる離散的ベクトル量子化層の学習の課題を、ソフトな緩和を用いて解決すること。
• 同一の共有トレーニング戦略を用いて、画像圧縮およびニューラルネットワーク圧縮の両方のタスクにおける圧縮性能を向上させること。
• 同じ手法が、2つの異なるが関連する圧縮応用分野においても最先端の結果を達成できることを示すこと。

提案手法

• 本手法は、ベクトル量子化とエントロピーのソフトな緩和を用い、バックプロパゲーション中に勾配が流れることを可能にする。
• トレーニング中、スケジュールに従ってソフトな緩和を段階的にハードな離散的量子化に近づける（アンニューリング）。
• ソフト量子化は、コードブックのベクトルへの微分可能なソフトアサインメントによって実装される。
• トレーニング中、コードブックインデックスのエントロピーは、微分可能な代替関数で近似される。
• このアプローチにより、特徴エンコーダーと量子化モジュールの両方のエンド・ツー・エンド最適化が可能になる。
• 本手法は、画像圧縮およびニューラルネットワーク重みの量子化の両方のタスクに、共有コンponentsを用いて適用可能である。

実験結果

リサーチクエスチョン

• RQ1 量子化とエントロピーのソフトな緩和は、離散的圧縮モジュールのエンド・ツー・エンド学習を可能にするか？
• RQ2 ソフトからハードへのアンニューリング戦略は、画像圧縮およびニューラルネットワーク圧縮の性能を向上させるか？
• RQ3 同一の手法が、画像圧縮およびモデル圧縮の両方のタスクで最先端の結果を達成できるか？
• RQ4 硬い量子化の微分可能緩和は、圧縮における品質とレート・ディストーショントレードオフにどのように影響を与えるか？

主な発見

• 提案手法は、エンド・ツー・エンド学習を用いた画像圧縮において、最先端のレート・ディストーション性能を達成した。
• 本手法はニューラルネットワーク重みの圧縮効率を向上させ、低ビットレートの表現で高精度なモデルを実現可能にした。
• ソフトからハードへのアンニューリング戦略により、離散的量子化層を介した効果的なバックプロパゲーションが可能になった。
• 本手法は異なる圧縮タスクに一般化可能であり、画像圧縮およびモデル圧縮の両方で一貫した向上効果を示した。
• 画像圧縮とモデル圧縮のための別個のトレーニング戦略を用いた先行手法よりも優れた性能を示した。
• 結果から、量子化とエントロピーの微分可能緩和が、最小限のアーキテクチャ変更で高品質で学習可能な圧縮を可能にすることが示された。