[論文レビュー] Hierarchical Quantized Autoencoders

Will Williams, Sam Ringer+4 more|arXiv (Cornell University)|Feb 19, 2020

Advanced Data Compression Techniques参考文献 50被引用数 25

ひとこと要約

本稿では、新しい学習目的を用いた階層的ベクトル量子化変分オートエンコーダー（VQ-VAEs）のスタックを用いる、階層的量子化オートエンコーダー（HQA）という新規アーキテクチャを提案する。このアーキテクチャにより、極めて低いビットレートでも高品質で人間が感じるようなリアルな画像再構成が可能となる。階層的な離散的潜在変数上の確率的分布をモデル化し、暗黙的に知覚的事前分布を学習することで、HQAは、自己回帰的デコーダーを必要としないシンプルな順方向デコーダーを用いても、CelebAおよびMNISTで最先端の性能を達成する。

ABSTRACT

Despite progress in training neural networks for lossy image compression, current approaches fail to maintain both perceptual quality and abstract features at very low bitrates. Encouraged by recent success in learning discrete representations with Vector Quantized Variational Autoencoders (VQ-VAEs), we motivate the use of a hierarchy of VQ-VAEs to attain high factors of compression. We show that the combination of stochastic quantization and hierarchical latent structure aids likelihood-based image compression. This leads us to introduce a novel objective for training hierarchical VQ-VAEs. Our resulting scheme produces a Markovian series of latent variables that reconstruct images of high-perceptual quality which retain semantically meaningful features. We provide qualitative and quantitative evaluations on the CelebA and MNIST datasets.

研究の動機と目的

• 極めて低いビットレートでの知覚的品質を維持するという、既存のニューラル画像圧縮手法の限界を克服すること。
• 極端な圧縮を可能にしつつ、意味的に意味のある特徴を保持する階層的VQ-VAEアーキテクチャを構築すること。
• 下位レイヤーの完全な後方分布を再構成できるように上位レイヤーが暗黙的に学習できる新しい学習目的を導入すること。
• 自己回帰的デコーダーを必要とせず、単純な順方向デコーダーでのみ高品質な再構成を達成すること。
• グリーディトレーニングと潜在変数コードの独立送信を可能とする、安定的でスケーラブルかつ再現可能な学習圧縮手法を提供すること。

提案手法

• モデルは、各レイヤーが直前のレイヤーの出力を用いて離散的潜在コードを学習するVQ-VAEsの階層的スタックを用いる。
• コミットメント損失とコードブック損失に加え、確率的再構成損失を組み合わせた新しい学習目的を提案し、上位レイヤーが下位レイヤーの完全な後方分布を再構成することを促進する。
• 各レイヤーで離散的コード上のパrameter化された確率分布を用いることで、恣意的なノイズ注入を避ける自然な確率性を導入する。
• エンコーダーは各レイヤーで量子化された潜在コードを出力し、デコーダーはトップレイヤーの潜在コードから単一の順方向パスで画像を再構成する。
• 任意のレイヤーを独立して送信可能であり、これにより異なる抽象レベルでの固定レート圧縮が可能となる。
• 訓練の安定性と再構成品質の向上のため、Gumbel-SoftmaxとMSE損失を組み込む。

実験結果

リサーチクエスチョン

• RQ1 新しい学習目的を備えた階層的VQ-VAEは、既存の手法と比較して、超低ビットレートでも優れた知覚的品質を達成できるか？
• RQ2 階層的な離散的潜在変数上の確率的分布をモデル化することで、決定的または自己回帰的代替手法と比較して、より優れた一般化性能と知覚的忠実度が得られるか？
• RQ3 自己回帰的デコーダーではなく、単純な順方向デコーダーを用いても、高品質な再構成が達成可能か？
• RQ4 階層構造は、意味的コンテンツをどのように保持し、潜在表現間の整合的な補間を可能にするか？
• RQ5 標準的なVQ-VAEトレーニングと比較して、CelebAのような複雑なデータセットにおいて、提案された目的は安定性と性能をどの程度向上させるか？

主な発見

• HQAは、CelebAデータセットにおいて、全ビットレートで最高のFréchet Inception Distance（rFID）スコアを達成し、特に極端な圧縮率での改善が顕著である。
• MNISTでは、極めて低いビットレートでも、分類精度が最も高く維持されており、ベースラインと比較して意味的コンテンツの保持が優れていることが示された。
• 潜在空間における線形補間では、HQAは歪みやぼやけのない鮮明で整合性のある中間画像を生成するが、VQ-VAE や HAMs は変形やぼやけた出力を生成する。
• アブレーションスタディの結果、Gumbel-SoftmaxとMSE損失を組み合わせることで最大の性能向上が得られ、両者の利点が直交的であることが確認された。
• HQAは、VQ-VAE、HAMs、VQ-VAE-2をすべて上回る知覚的品質と意味的整合性を示し、特に1枚あたり100ビット未満のビットレートで顕著な優位性を示した。
• 複雑なデータセット（例：CelebA）では、確率的損失が訓練安定性に不可欠である一方で、MNISTのような簡単なタスクではわずかに性能が低下することがあった。