[論文レビュー] iFlow: Numerically Invertible Flows for Efficient Lossless Compression via a Uniform Coder

Shifeng Zhang, Ning Kang+2 more|arXiv (Cornell University)|Nov 1, 2021

Algorithms and Data Compression被引用数 12

ひとこと要約

iFlow は、離散空間の双射を実現するためのモジュラスケール変換（MST）と、高速なエントロピー符号化のための均一ベース変換システム（UBCS）を導入することで、数値的に可逆な正規化フローを提案し、効率的な無損失圧縮を実現した。MST と UBCS を用いることで、LBB よりも 5 倍速い符号化速度を達成しながら、最先端の圧縮比を維持し、理論的最小符号長に極めて近い性能を発揮した。

ABSTRACT

It was estimated that the world produced $59 ZB$ ($5.9 imes 10^{13} GB$) of data in 2020, resulting in the enormous costs of both data storage and transmission. Fortunately, recent advances in deep generative models have spearheaded a new class of so-called "neural compression" algorithms, which significantly outperform traditional codecs in terms of compression ratio. Unfortunately, the application of neural compression garners little commercial interest due to its limited bandwidth; therefore, developing highly efficient frameworks is of critical practical importance. In this paper, we discuss lossless compression using normalizing flows which have demonstrated a great capacity for achieving high compression ratios. As such, we introduce iFlow, a new method for achieving efficient lossless compression. We first propose Modular Scale Transform (MST) and a novel family of numerically invertible flow transformations based on MST. Then we introduce the Uniform Base Conversion System (UBCS), a fast uniform-distribution codec incorporated into iFlow, enabling efficient compression. iFlow achieves state-of-the-art compression ratios and is $5 imes$ quicker than other high-performance schemes. Furthermore, the techniques presented in this paper can be used to accelerate coding time for a broad class of flow-based algorithms.

研究の動機と目的

• ニューラル圧縮、特にフローに基づくモデルにおける符号化速度の遅さという実用的 bottleneck を解決すること。
• 離散空間の双射を用いて高精度な密度推定を可能にし、離散化による情報損失を回避しながら可逆性を保持すること。
• リアルタイム圧縮に適した、離散フローと互換性のある高速かつ動的エントロピー符号化方式の開発。
• ニューラル圧縮における高い圧縮比と実用的実装速度のギャップを埋めること。
• 高解像度画像を含む多様な画像データセットにわたる効率的かつスケーラブルな無損失圧縮の実現。

提案手法

• 連続フローから導出される、離散空間における双射としての柔軟なファミリーであるモジュラスケール変換（MST）を導入し、数値的に可逆な変換を可能にした。
• 1 文字子に定数時間で動作する二つの演算のみを用いる動的エントロピー符号化方式である均一ベース変換システム（UBCS）を提案した。これにより高速な圧縮が実現された。
• MST と UBCS を統合し、入力データと潜在変数の間で正確な双射を保証する完全に可逆なエンドツーエンドの圧縮パイプラインを構築した。
• 複数の MST 層から成るフローアーキテクチャを採用し、潜在変数を学習可能で体積を保存する双射によって変換した。
• トレーニングの目的関数として負の対数尤度を用い、再構築誤差を最小化するとともに、正確な可逆性を維持した。
• 数値誤差を損失なしに符号化できるビットバックコーディングフレームワークを活用し、連続フローを離散圧縮に適用可能にした。

実験結果

リサーチクエスチョン

• RQ1 既存のニューラルコアックよりも著しく高速な符号化速度を達成しながらも、高い圧縮比を維持できるフローベースの圧縮モデルを設計できるか？
• RQ2 正規化フローにおいて、離散入力データと潜在変数の間で正確な可逆性を保証しつつ、表現制約を導入せずに実現できるか？
• RQ3 離散フローと効率的に連携できる動的エントロピー符号化方式を設計できるか？ これにより符号化時間を短縮しながら圧縮効率を損なわないか？
• RQ4 提案手法が、高解像度画像や実世界のベンチマークを含む多様な画像データセットにどの程度一般化できるか？
• RQ5 MST と UBCS の組み合わせは、LBB や iVPF といった既存手法と比較して、圧縮比と速度の両面でどの程度優れているか？

主な発見

• iFlow は、CIFAR-10、ImageNet32、ImageNet64 を含むすべてのテストデータセットで最先端の圧縮比を達成した。
• LBB よりも 5 倍速い符号化速度を発揮しながらも、優れた圧縮効率を維持した。
• iFlow の符号長は理論的最小値に極めて近く、ほぼ最適な圧縮性能を示した。
• 高解像度画像に対しても良好な一般化性能を示し、非重複 32×32 および 64×64 パッチの圧縮において、すべてのベースラインを上回った。
• UBCS は 1 文字子に 2 回の演算のみで動作するため、ANS や AC よりも著しく高速でありながら、圧縮忠実度を維持した。
• モデルは強い一般化性能を示し、ImageNet32 で事前学習したモデルを用いて ImageNet64 でも性能向上を達成した。