[論文レビュー] Deep Generative Models for Distribution-Preserving Lossy Compression

Michael Tschannen, Eirikur Agustsson+1 more|arXiv (Cornell University)|May 28, 2018

Advanced Image Processing Techniques参考文献 43被引用数 15

ひとこと要約

本稿では、再構築サンプルが真のデータ分布に従うように制約を課しながら、レート・ディストーションのトレードオフを最適化する新しいフレームワーク、Distribution-Preserving Lossy Compression (DPLC) を提案する。Wasserstein GAN と Wasserstein Autoencoder を統合した新規手法 Wasserstein++ を用いることで、ゼロビットレートでの確率的生成モデルから高ビットレートでのほぼ完璧な再構築まで、あらゆるビットレートでアーティファクトのない多様な画像再構築を達成する。

ABSTRACT

We propose and study the problem of distribution-preserving lossy compression. Motivated by recent advances in extreme image compression which allow to maintain artifact-free reconstructions even at very low bitrates, we propose to optimize the rate-distortion tradeoff under the constraint that the reconstructed samples follow the distribution of the training data. The resulting compression system recovers both ends of the spectrum: On one hand, at zero bitrate it learns a generative model of the data, and at high enough bitrates it achieves perfect reconstruction. Furthermore, for intermediate bitrates it smoothly interpolates between learning a generative model of the training data and perfectly reconstructing the training samples. We study several methods to approximately solve the proposed optimization problem, including a novel combination of Wasserstein GAN and Wasserstein Autoencoder, and present an extensive theoretical and empirical characterization of the proposed compression systems.

研究の動機と目的

• すべてのビットレートで再構築サンプルが真のデータ分布に従うという条件の下で、分布を保った損失圧縮（DPLC）の問題を形式的に定式化し、それを解くこと。
• 従来の手法の限界、特に低ビットレートでのモード崩壊と確率的性の欠如を、圧縮中に分布制約を課すことによって克服すること。
• ゼロビットレートでの生成モデルから高ビットレートでの完全再構築へ滑らかに遷移する統一されたフレームワークを構築すること。
• 再構築分布と歪みの上限を、ビットレートの関数として理論的に特徴づけること。
• 標準データセットを用いた実験的検証により、従来手法に比べて優れたサンプルの多様性と視覚的品質を示すこと。

提案手法

• 再構築分布がトレーニングデータ分布と一致するという制約の下で、レート・ディストーションのトレードオフを最小化する形式的な DPLC 最適化問題を提示する。
• 生成データ分布と実データ分布の分布誤差を測定・最小化するために、Wasserstein 距離を指標として用いる。
• WAE（構造的ラテン空間、分離性）の利点と WGAN（高品質なサンプル生成、モードカバレッジ）の利点を統合した新規アーキテクチャである Wasserstein++ を導入する。
• WAE 目的関数に基づいて訓練された確率的デコーダと、WGAN を用いて訓練されたジェネレータを用い、高精細で多様なサンプルを保証する。
• エンコーダが入力データをラテンコードにマップし、デコーダが学習された分布からサンプルを生成する、変分推論フレームワークを採用する。
• 微分可能ボトルネックを介して、再構築忠実度、分布整合性、レート制約のバランスを取る共同訓練目的関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 すべてのビットレートで、再構築がトレーニングデータと正確に同じ分布に従うような深層圧縮システムを設計できるか？
• RQ2 低ビットレートでもデコーダが確率的であり、モード崩壊を回避しながら高い再構築品質を維持できるか？
• RQ3 このようなシステムにおいて、ビットレート、歪み、分布忠実度の理論的関係は何か？
• RQ4 生成モデルから完全再構築へ滑らかに遷移する統一フレームワークを、アーキテクチャ的・訓練戦略的変更なしに構築できるか？
• RQ5 提案手法である Wasserstein++ は、既存の GAN ベースおよびオートエンコーダベースの圧縮手法と比較して、サンプル品質および分布正確性の面で優れているか？

主な発見

• 提案された DPLC フレームワークは、ゼロビットレートを含むあらゆるビットレートで、確率的で多様かつアーティファクトのない再構築を成功裏に達成し、ゼロビットレートでは真の生成モデルとして機能する。
• Wasserstein++ は CelebA で FID 10.93、LSUN ベッドルームで 27.52 を達成し、WAE を上回り、WGAN-GP と同等のサンプル品質を示した。
• ゼロビットレートでは、従来の手法（例：グローバル生成圧縮（GC））とは異なり、再構築が有効なデータ分布を維持している。
• CelebA では再構築 FID 10.93、LSUN では 27.52 を達成し、サンプル FID はそれぞれ 23.36 と 60.97 であり、強力なモードカバレッジとサンプルの多様性を示している。
• 理論的分析により、歪みがビットレートの関数として有界であることが示され、ビットレートがゼロに近づくにつれて再構築分布が真のデータ分布に収束することが分かった。
• 実験的結果により、特に低ビットレートでブラー・ブロッキングなどの一般的なアーティファクトを回避し、CAE ベースラインおよび GC よりも視覚的品質が優れていることが確認された。