[論文レビュー] Generative Compression

Shibani Santurkar, David Budden+1 more|arXiv (Cornell University)|Mar 4, 2017

Advanced Data Compression Techniques参考文献 18被引用数 10

ひとこと要約

本稿では、画像および動画圧縮のための新規なアプローチ、生成的圧縮を提案する。この手法は、訓練済みの生成モデル（例：GAN）を固定デコーダとして用いることで、従来のコーデック（例：JPEG2000）と比較して、圧縮比が数個のオーダーも向上し、ビット損失下でも滑らかに劣化する特性を実現する。生データの代わりにコンパクトな潜在コードのみを送信することで、従来の手法に比べて優れた視覚的品質とチャネルノイズに対する耐性を達成する。

ABSTRACT

Traditional image and video compression algorithms rely on hand-crafted encoder/decoder pairs (codecs) that lack adaptability and are agnostic to the data being compressed. Here we describe the concept of generative compression, the compression of data using generative models, and suggest that it is a direction worth pursuing to produce more accurate and visually pleasing reconstructions at much deeper compression levels for both image and video data. We also demonstrate that generative compression is orders-of-magnitude more resilient to bit error rates (e.g. from noisy wireless channels) than traditional variable-length coding schemes.

研究の動機と目的

• 従来の手作業で設計されたコーデックには、帯域幅の損失やノイズ下での劣化が滑らかでないという欠点があるため、それを是正すること。
• 自然画像に内在する意味的・知覚的冗長性を活用することで、生成モデルが著しく高い圧縮比を実現できるかどうかを調査すること。
• 従来の可変長符号化方式と比較して、生成的圧縮が優れた視覚的品質とビットエラーに対する耐性を示すかどうかを実証すること。
• 現代の GAN アーキテクチャを用いて、256×256 の ImageNet 画像のような大規模な画像圧縮に生成モデルを適用する可能性を調査すること。

提案手法

• 自然画像の事前分布を学習できるように、生成モデル（例：DCGAN や Wasserstein GAN）を訓練し、潜在コードから高精度な画像再構築を可能にする。
• 自動符号化器の構成において、訓練済みの生成器を固定で非適応的なデコーダとして用いる。この際、送信するのは潜在コードのみである。
• 入力画像をコンパクトな潜在表現にマップする学習済みエンコーダネットワークを適用し、その後量子化およびエントロピー符号化して送信する。
• 生成モデルの潜在空間に内在する構造を活用することで、極めて圧縮されたコードでも視覚的に妥当な再構築が可能になるように保証する。
• Huffman符号化を適用して圧縮効率をさらに向上させ、平均してビットレートを 20–50% 減少させる。
• PSNR や SSIM といった標準指標を用いて性能を評価し、シミュレートされたビットエラーおよびさまざまな圧縮レベル下での耐性を検証する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルを固定デコーダとして用いることで、従来のコーデックよりも著しく高い圧縮比を実現できるか？
• RQ2 従来のロスイープス圧縮方式と比較して、生成的圧縮は視覚的品質およびビットエラーに対する耐性で優れているか？
• RQ3 256×256 の ImageNet 画像のようなより大きな、より複雑な画像に対しても、生成的圧縮の性能は効果的にスケーリング可能か？
• RQ4 Wasserstein GAN といった現代の GAN アーキテクチャを用いることで、DCGAN よりも優れた再構築品質と圧縮効率が得られるか？
• RQ5 生成的圧縮は、極めて高い圧縮レベル下でも、滑らかに劣化する特性をどれほど持っているか？

主な発見

• 生成的圧縮は、JPEG2000 などの従来のコーデックと比較して、特に深層圧縮レベル下で数個のオーダーも高い圧縮係数を達成する。
• 本手法は滑らかな劣化を実現する：極めて低いビットレート下でも、再構築画像は視覚的に意味があり、知覚的に妥当なままである。
• 生成的圧縮は、従来の可変長符号化方式と比較して、著しく高い耐性を示す（数個のオーダーも高い）ため、ノイジーな無線チャネルに適している。
• DCGAN ではなく Wasserstein GAN を用いることで、256×256 の ImageNet 画像において再構築品質が向上し、複雑なデータへのスケーラビリティが実証された。
• Huffman符号化により、平均して最終的なビットレートが 20–50% 減少し、視覚的品質に影響を与えることなく圧縮効率が向上した。
• 生成モデルの意味的インダクティブバイアスのおかげで、ピクセルレベル最適化手法に比べ、よりシャープで視覚的に正確な再構築が可能になった。