[論文レビュー] Lossless Image Compression through Super-Resolution

Sheng Cao, Chao-Yuan Wu+1 more|arXiv (Cornell University)|Apr 6, 2020

Advanced Image Processing Techniques参考文献 50被引用数 29

ひとこと要約

本稿では、低画質画像を符号化し、複数回の損失なしスーパーレゾリューションを適用することで高画質な詳細を圧縮する、新しい損失なし画像符号化手法であるSuper-Resolution based Compression (SReC) を提案する。高画質画素の確率分布を低画質入力に条件づけてモデル化し、エントロピー符号化を用いることで、高速で効率的かつ小型なモデルで最先端の符号化レートを達成する。

ABSTRACT

We introduce a simple and efficient lossless image compression algorithm. We store a low resolution version of an image as raw pixels, followed by several iterations of lossless super-resolution. For lossless super-resolution, we predict the probability of a high-resolution image, conditioned on the low-resolution input, and use entropy coding to compress this super-resolution operator. Super-Resolution based Compression (SReC) is able to achieve state-of-the-art compression rates with practical runtimes on large datasets. Code is available online at https://github.com/caoscott/SReC.

研究の動機と目的

• スーパーレゾリューションを符号化メカニズムとして活用することで、損失なし画像符号化のための効果的な確率モデルを設計する挑戦に応える。
• 自己回帰的モデルの損失なし符号化における非効率性を、階層的かつ並列処理可能なスーパーレゾリューションフレームワークを用いて克服する。
• スーパーレゾリューション処理から得られる構造的制約を活用し、エントロピー符号化のビットレートを低減し、符号化効率を向上させる。
• 大規模データセット上で最先端の符号化パフォーマンスを達成しつつ、実用的な実行時間と小型なモデルサイズを維持する。

提案手法

• 初期データサイズを削減するため、画像の低画質バージョンを生ピクセルとして保存する。
• 損失なしスーパーレゾリューションを3回繰り返し適用し、低画質入力の各ピクセルが4つの高画質出力ピクセルの確率分布を予測する。
• ニューラルネットワークを用いて、低画質入力に条件づいた高画質ピクセルの条件付き確率分布をモデル化する。
• 算術符号化を適用して予測された確率分布をエントロピー符号化し、スーパーレゾリューション演算子の損失なし符号化を可能にする。
• スーパーレゾリューションが空間的一致性を強制するという事実を活用し、25%のピクセルを明示的な符号化なしに「無料で」再構築可能である。
• 並列処理が可能で、階層的レベル間での効率的な推論が可能な、軽量で共有アーキテクチャの設計を採用する。

実験結果

リサーチクエスチョン

• RQ1 低画質入力に条件づいたピクセル分布をモデル化することで、スーパーレゾリューションを損失なし符号化メカニズムとして再利用可能か？
• RQ2 スーパーレゾリューションの構造的制約は、一般の自己回帰的モデルと比較して、エントロピー符号化のビットレートをどの程度低減するか？
• RQ3 スーパーレゾリューションに基づく符号化モデルは、実用的な実行時間と小型なモデルサイズを維持しながら、最先端の符号化レートを達成可能か？
• RQ4 SReCの性能は、多様なデータセット上で手作業で設計されたコデック（例：PNG、WebP、FLIF）およびディープラーニングベースの手法（例：L3C、IDF）と比較してどの程度か？

主な発見

• SReCは、ImageNet64およびOpen Imagesで最先端の符号化パフォーマンスを達成し、Open Imagesでは2.29 bpsp、ImageNet64では4.29 bpspを記録。実用的かつ効率的な先行手法をすべて上回った。
• SReCは、Open Imagesにおける2番目に優れた手法（IDF）と比較して約55倍高速であり、符号化時間は0.99秒、復号時間は1.15秒であった。
• モデルは非常にパラメータ効率が良く、わずか420万パラメータ（L3Cに次ぐ最もコンactな手法の約1/20）で実現された。
• SReCは、複雑で圧縮性の低い画像（例：高周波数のテクスチャ）に対してより大きな圧縮利得を示し、複雑な画像パターンの効果的なモデリングを示している。
• Reedら[35]のPixelCNN変種よりも30倍の高速化を達成した。これは、長時間の実行時間のため実世界での利用が不適切であった。
• スーパーレゾリューションの制約を活用することで、確率分布の範囲が制限され、エントロピー符号化コストが低減し、符号化効率の向上に寄与した。