[論文レビュー] Variable-Bitrate Neural Compression via Bayesian Arithmetic Coding

Yibo Yang, Robert Bamler+1 more|arXiv (Cornell University)|Feb 18, 2020

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、事後分布の不確実性推定に基づいて量子化精度を動的に調整するベイジアン算術符号化を用いた可変ビットレートニューラル圧縮手法を提案する。これにより、再訓練を必要とせず、1つの訓練済みモデルで複数のレート・ディストーショントレードオフを達成できる。このアプローチは、再訓練を必要とせず、広範なビットレート範囲でJPEGを上回る性能を発揮する。

ABSTRACT

Deep Bayesian latent variable models have enabled new approaches to both model and data compression. Here, we propose a new algorithm for compressing latent representations in deep probabilistic models, such as variational autoencoders, in post-processing. The approach thus separates model design and training from the compression task. Our algorithm generalizes arithmetic coding to the continuous domain, using adaptive discretization accuracy that exploits estimates of posterior uncertainty. A consequence of the plug and play nature of our approach is that various rate-distortion trade-offs can be achieved with a single trained model, eliminating the need to train multiple models for different bit rates. Our experimental results demonstrate the importance of taking into account posterior uncertainties, and show that image compression with the proposed algorithm outperforms JPEG over a wide range of bit rates using only a single machine learning model. Further experiments on Bayesian neural word embeddings demonstrate the versatility of the proposed method.

研究の動機と目的

• 変分オートエンコーダーなどの深層確率的モデルにおける潜在表現の後処理圧縮手法を開発すること。
• 再訓練を必要とせず、1つの訓練済みモデルで可変ビットレート圧縮を実現すること。
• 不確実性に基づいて離散化精度を調整することで、連続ドメインへの算術符号化の一般化を図ること。
• 潜在空間における事後分布の不確実性推定を活用して、圧縮性能を向上させること。
• 画像やワード埋め込みを含む、さまざまなデータタイプへの汎用性を実証すること。

提案手法

• 本手法は、事後分布の不確実性推定に応じて変動する適応的離散化を用いることで、連続的潜在変数への算術符号化を一般化する。
• 事後分布の分散に基づいて、量子化解像度を動的に調整し、不確実性が高い領域に多くのビットを割り当てる。
• 本手法は圧縮を後処理ステップとして扱い、モデル学習とレート制御を分離する。
• ベイジアン推論を用いて潜在変数の事後分布を推定し、これにより符号化戦略を決定する。
• 任意の深層潜在変数モデル（例：変分オートエンコーダー）に統合可能であり、アーキテクチャの変更を要しない。
• 不確実性を考慮した符号化プロセスにより、ビットレートと再構成品質のトレードオフを調整することで、レート・ディストーション最適化を達成する。

実験結果

リサーチクエスチョン

• RQ1 一般化された算術符号化形式を用いて、連続的潜在表現を効率的に圧縮できるか？
• RQ2 事後分布の不確実性を組み込むことで、さまざまなビットレートにおける圧縮性能がどのように向上するか？
• RQ3 再訓練を必要とせず、1つの訓練済みモデルで複数のレート・ディストーショントレードオフを達成できるか？
• RQ4 JPEGなどの従来のコデックと比較して、さまざまなビットレートで本手法はどのように性能を発揮するか？
• RQ5 本手法は、画像データを超えて、ワード埋め込みなどの非画像データに対してもどれほど汎用性を示せるか？

主な発見

• 提案手法は、広範なビットレート範囲でJPEGを上回る優れた画像圧縮性能を達成しており、レートとディストーションの両面で一貫した向上を示している。
• 事後分布の不確実性を活用することで、モデルの複雑さを増すことなく、適応的ビット割り当てが可能となり、符号化効率が向上する。
• 1つのモデルのみで可変ビットレート圧縮を実現でき、異なるビットレート用に複数のモデルを再訓練する必要がなくなる。
• ベイジアンニューラルワード埋め込みを用いた実験により、本手法の画像データを超える汎用性が確認された。
• 結果から、不確実性を考慮した符号化が、特に低ビットレートにおいて圧縮性能を顕著に向上させることを示している。
• 本手法は、競争力のあるビットレートを維持しながらも高い再構成品質を達成しており、実用的圧縮シナリオにおける有効性が裏付けられている。