[論文レビュー] CAE-ADMM: Implicit Bitrate Optimization via ADMM-based Pruning in Compressive Autoencoders

Haimeng Zhao, Peiyuan Liao|arXiv (Cornell University)|Jan 22, 2019

Image and Signal Denoising Methods参考文献 13被引用数 4

ひとこと要約

CAE-ADMM は、従来のエントロピー推定の代わりに ADMM を用いたプルーニングを採用することで、潜在コードにおけるスパarsity を促進し、暗黙的にビットレートを最適化する新しい損失あり画像圧縮手法を提案する。この手法は、オリジナルの CAE や JPEG や JPEG 2000 といった従来のコーデックと比較して優れた SSIM および MS-SSIM 性能を達成しており、効率的な推論速度を維持するとともに、プルーニング後の潜在表現で 17.65% のゼロ要素比を達成している。

ABSTRACT

We introduce ADMM-pruned Compressive AutoEncoder (CAE-ADMM) that uses Alternative Direction Method of Multipliers (ADMM) to optimize the trade-off between distortion and efficiency of lossy image compression. Specifically, ADMM in our method is to promote sparsity to implicitly optimize the bitrate, different from entropy estimators used in the previous research. The experiments on public datasets show that our method outperforms the original CAE and some traditional codecs in terms of SSIM/MS-SSIM metrics, at reasonable inference speed.

研究の動機と目的

• 深層学習ベースの損失あり画像圧縮におけるビットレートの非微分可能性を解消するため、エントロピー推定の代わりにスパarsity を促進する代替手法を導入すること。
• パrameterized エントロピー推定器や複雑なコンテキストモデルに依存せずに、圧縮効率と再構成品質を向上させること。
• ADMM を用いたプルーニングが、エントロピー率を暗黙的に最適化するかどうかを検証すること。
• 従来のコーデックやオリジナルの CAE よりも優れた構造的類似度指標を達成しながら、競争的な推論速度を維持すること。

提案手法

• 本手法は、畳み込み層とサブピクセルデコンボリューションを用いたエンコーダ-デコーダアーキテクチャを採用し、$ Q(t) = \big\rfloor t \big\rfloor + \text{Bernoulli}(t - \big\rfloor t \big\rfloor) $ で定義される微分可能量子化器を用いる。
• エントロピー推定器の代わりに、量子化された潜在コード $ \tilde{\mathbf{z}} $ におけるスパarsity を強制する ADMM を用いたプルーニングにより、ビットレートを暗黙的に最適化する。
• 最適化問題は、歪みと潜在コードの基数に対するペナルティの最小化として定式化され、$ R(\tilde{\mathbf{z}}) = \text{card}(\tilde{\mathbf{z}}) $ と表される。この問題は ADMM フレームワークを用いて解かれる。
• ADMM モジュールは、潜在コード、双対変数、スラック変数の順に交互に更新することで、スパarsity を維持しながら再構成忠実度を保つ。
• 2段階のトレーニングスケジュールを採用する：まず MSE 損失のみを用いたウォームアップフェーズを実施し、その後 10% の最小絶対値を持つ要素をゼロに設定するプルーニングフェーズを実施する。
• 最終的なエンコーダー層を変更することで、保持する要素数を調整することにより、ビットレートに対する細かな制御を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ADMM を用いたプルーニングは、深層学習ベースの画像圧縮においてエントロピー推定を効果的に代替できるか、また、レート-歪み性能を維持または向上させられるか。
• RQ2 プルーニングによる潜在コードにおけるスパarsity の促進が、明示的なモデル化なしにエントロピー率を暗黙的に最適化し、結果としてビットレートを低減させられるか。
• RQ3 CAE-ADMM の性能は、同等のビットレートにおけるオリジナルの CAE や従来のコーデック（JPEG、JPEG 2000）と比較して、SSIM および MS-SSIM でどのように異なるか。
• RQ4 プルーニングプロセスが潜在コードにおける非ゼロ要素の分布に与える影響はどの程度か。また、その影響が圧縮効率の向上と相関しているか。
• RQ5 CAE-ADMM の推論速度は従来のコーデックと比較してどの程度か。また、低ビットレートでも高品質を維持できるか。

主な発見

• CAE-ADMM は、Kodak PhotoCD データセットにおいて、オリジナルの CAE や従来のコーデックを上回る SSIM および MS-SSIM 性能を示し、プルーニング後の潜在コードで 17.65% のゼロ要素比を達成している。
• 約 0.3 bpp のターゲットビットレートにおいて、CAE-ADMM は高品質な再構成を維持するが、JPEG は著しく劣化し、低ビットレートでも頑健であることが示された。
• 0.597 bpp における平均 SSIM は $ 0.871 \pm 0.003 $ であり、JPEG（$ 0.828 \pm 0.006 $）や JPEG 2000（$ 0.793 \pm 0.013 $）を上回る、より優れた知覚的品質を達成している。
• CAE-ADMM の推論速度は、1枚あたり $ 0.140 \pm 0.008 $ 秒であり、これは許容範囲であり、JPEG（0.033 秒）や JPEG 2000（0.177 秒）と同等の水準にある。
• アブレーションスタディの結果、ADMM プルーニングモジュールが性能向上に顕著に寄与していることが確認され、ゼロ要素比が 7.80% から 17.65% に上昇し、対応するビットレートが 1.684 から 1.257 bpp に低下した。
• 画像 kodim21 における可視的比較では、低ビットレートでも JPEG や JPEG 2000 よりも細部をよりよく保持しており、ブロッキングアーティファクトも最小限に抑えられている。