[論文レビュー] Integer Discrete Flows and Lossless Compression

Emiel Hoogeboom, Jorn W. T. Peters+2 more|arXiv (Cornell University)|May 17, 2019

Generative Adversarial Networks and Image Synthesis参考文献 39被引用数 10

ひとこと要約

この論文は、量子化誤差なしで正確な尤度最適化と最先端の無損失圧縮を可能にする、順序付き離散データ向けの正規化フロー・モデルである整数離散フロー（IDF）を導入する。整数離散カップリングと呼ばれる学習可能で双方向的な整数変換層を設計することで、CIFAR10、ImageNet32、ImageNet64において競争力ある生成モデル性能と優れた圧縮レートを達成し、無損失圧縮における可逆ニューラルネットワークの初めての応用を実現する。

ABSTRACT

Lossless compression methods shorten the expected representation size of data without loss of information, using a statistical model. Flow-based models are attractive in this setting because they admit exact likelihood optimization, which is equivalent to minimizing the expected number of bits per message. However, conventional flows assume continuous data, which may lead to reconstruction errors when quantized for compression. For that reason, we introduce a flow-based generative model for ordinal discrete data called Integer Discrete Flow (IDF): a bijective integer map that can learn rich transformations on high-dimensional data. As building blocks for IDFs, we introduce a flexible transformation layer called integer discrete coupling. Our experiments show that IDFs are competitive with other flow-based generative models. Furthermore, we demonstrate that IDF based compression achieves state-of-the-art lossless compression rates on CIFAR10, ImageNet32, and ImageNet64. To the best of our knowledge, this is the first lossless compression method that uses invertible neural networks.

研究の動機と目的

• 画像のような離散的データに適用する際に量子化誤差による連続的フロー・モデルの無損失圧縮における限界を解消すること。
• 正確な逆写像性を保ち、正確な尤度計算を可能にする、離散的データ向けの双方向的で学習可能な変換を開発すること。
• 量子化による再構築誤差なしに、高次元かつ構造的データの正規化フローを用いた圧縮を可能にすること。
• IDFに基づく圧縮が、標準的な画像ベンチマークで既存手法を上回ることを実証し、プログレッシブデコードをサポートすること。
• これまでこの文脈で未開拓であった、可逆ニューラルネットワークを用いた無損失圧縮の新しいパラダイムを確立すること。

提案手法

• 離散的データを尤度計算が容易な事前分布を持つ潜在空間に変換する双方向的整数写像である整数離散フロー（IDF）を提案する。
• 離散的データ上で効率的な可逆写像を可能にする、柔軟で学習可能な変換ブロックとしての整数離散カップリング層を導入する。
• 入力の一部を条件として、スケールとシフトのネットワークを学習させ、残りの次元を変換することで、双方向性と計算可能なヤコビアン行列式を保証する。
• 変数変換の公式を用いて正確な対数尤度を計算し、圧縮のための最尤学習を可能にする。
• 潜在表現に対するエントロピー符号化を統合し、階層的事前分布構造によりプログレッシブデコードを可能にする圧縮パイプラインにIDFを統合する。
• 推論時における離散出力のための丸め処理を除き、負の対数尤度最小化を用いてモデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 可逆ニューラルネットワークは、画像のような順序付き離散的データに効果的に適応可能か？
• RQ2 提案された整数離散カップリング層は、離散的データ上で効率的かつ双方向的な変換を可能にするとともに、計算可能な尤度を維持できるか？
• RQ3 IDFに基づく圧縮は、CIFAR10、ImageNet32、ImageNet64といった標準的な画像圧縮ベンチマークで最先端の性能を達成できるか？
• RQ4 IDFフレームワークはプログレッシブデコードをサポートしており、ビットストリームのわずかな割合でもグローバルな画像構造を保っているか？
• RQ5 アーキテクチャの単純さにもかかわらず、離散的データに適応した既存の連続的フローに基づくモデルと比較して、IDFは生成モデル性能で競争力を持つか？

主な発見

• IDFはCIFAR10で3.32ビット/次元という最先端の無損失圧縮性能を達成し、Flow++ や Glow などの先行手法を上回っている。
• ImageNet32では4.15ビット/次元を達成し、より大きなデータセットへのスケーラビリティと一般化性能の高さを示している。
• ImageNet64では3.90ビット/次元を達成し、データの複雑さが増しても競争力ある性能を示している。
• ER+BCaヒストロロジー・データセットにおけるIDFベースの圧縮は、2.42ビット/次元を達成し、パッチベース設定でJPEG2000（4.26 bpd）とJP2-WSI（3.04 bpd）を上回っている。
• IDFを用いたプログレッシブデコードは、ビットストリームの15%のみでさえも、グローバルな画像構造を保持しており、高精度な早期可視化を可能にしている。
• IDFは生成モデル性能においても競争力があり、CIFAR10で3.32 bpd、ImageNet32で4.15 bpdを達成し、アーキテクチャの単純さにもかかわらず、連続的フローのベースラインに迫るか、それを上回っている。