[論文レビュー] Learning-Driven Lossy Image Compression; A Comprehensive Survey

Sonain Jamil, Md. Jalil Piran+1 more|arXiv (Cornell University)|Jan 23, 2022

Advanced Data Compression Techniques被引用数 8

ひとこと要約

この包括的なサーベイは、自己符号化器、畳み込みニューラルネットワーク（CNN）、生成対抗ネットワーク（GAN）、リカレントニューラルネットワーク（RNN）などの深層学習アーキテクチャを用いた学習駆動型の損失あり画像圧縮技術をレビューしており、静止画像圧縮のエンドツーエンドフレームワークに焦点を当てている。本稿は、ストライプ領域の歪み、GPUメモリオーバーフロー、アリゼーション、CPU/GPU互換性の欠如といった主な課題を特定するとともに、分野における最近の進展と未解決の研究ギャップを強調している。

ABSTRACT

In the realm of image processing and computer vision (CV), machine learning (ML) architectures are widely applied. Convolutional neural networks (CNNs) solve a wide range of image processing issues and can solve image compression problem. Compression of images is necessary due to bandwidth and memory constraints. Helpful, redundant, and irrelevant information are three different forms of information found in images. This paper aims to survey recent techniques utilizing mostly lossy image compression using ML architectures including different auto-encoders (AEs) such as convolutional auto-encoders (CAEs), variational auto-encoders (VAEs), and AEs with hyper-prior models, recurrent neural networks (RNNs), CNNs, generative adversarial networks (GANs), principal component analysis (PCA) and fuzzy means clustering. We divide all of the algorithms into several groups based on architecture. We cover still image compression in this survey. Various discoveries for the researchers are emphasized and possible future directions for researchers. The open research problems such as out of memory (OOM), striped region distortion (SRD), aliasing, and compatibility of the frameworks with central processing unit (CPU) and graphics processing unit (GPU) simultaneously are explained. The majority of the publications in the compression domain surveyed are from the previous five years and use a variety of approaches.

研究の動機と目的

• 最近の機械学習ベースの静止画像圧縮技術、特にエンドツーエンドの深層ニューラルネットワークを用いたものについて包括的なレビューを提供すること。
• 学習駆動型損失あり画像圧縮における未解決の研究問題（SRD、OOM、アリゼーション、CPU/GPU互換性など）を特定・分析すること。
• CAE、VAE、GAN、RNN などのさまざまな深層学習モデルの性能を、JPEG や JPEG-2000 などの従来の基準と比較して評価すること。
• 現在のフレームワークの制限を強調し、圧縮効率と視覚的品質の向上に向けた方向性を提案することで、今後の研究を導くこと。

提案手法

• 自己符号化器（CAE、VAE）、CNN、RNN、GAN、PCA、ファジィクラスタリングを含む、深層学習アーキテクチャに基づく画像圧縮手法の分類。
• 学習されたエントロピー・モデルとハイパーピリオードを統合したエンドツーエンド圧縮フレームワークの分析。これにより、レート・ディストーション性能が向上。
• グローバル特徴モデリングの向上による再構成品質の向上を目的とした、アテンション機構と非局所演算の利用のレビュー。
• エントロピー符号化のためのハイパーピリオード・モデルにおける一般化除法正規化（GDN）およびその逆変換（iGDN）層の統合の検討。
• ブロックベースおよび自己回帰的エントロピー・モデルの評価。並列処理の制限および計算効率の低さに起因する課題を強調。
• CPU と GPU の異なるハードウェアプラットフォーム間でのモデル性能比較。トレーニング環境と推論環境が異なる場合に生じる不一致の特定。

Figure 1: Organization of the paper.

実験結果

リサーチクエスチョン

• RQ1 どのエンドツーエンド学習済み画像圧縮フレームワークが、レート・ディストーショントレードオフの観点で最高の圧縮効率を達成しているか？
• RQ2 どの学習済み圧縮モデルが、細かいテクスチャーやエッジを保持する点で優れた再構成画像の視覚的品質を生み出しているか？
• RQ3 どのフレームワークが GPU メモリ使用量を最小限に抑え、CPU および GPU プラットフォームの両方で効率的な推論を可能としているか？
• RQ4 どのアーキテクチャが高速応答時間を実現し、高解像度画像のリアルタイム圧縮をサポートしているか？
• RQ5 ストライプ領域歪み（SRD）、アリゼーション、メモリオーバーフロー（OOM）といった継続的な問題を、深層学習ベースの圧縮でどのように軽減できるか？

主な発見

• 特に CNN や自己符号化器を用いた深層学習ベースの圧縮モデルは、JPEG-2000 などの従来の基準よりも、レート・ディストーション性能で優れている。
• 変分自己符号化器（VAE）およびハイパーピリオード・モデルはエントロピー符号化の効率を向上させるが、計算コストとメモリ使用量の増加に起因する課題を抱えている。
• ストライプ領域歪み（SRD）は、再構成画像において顕著な問題であり、現在の文献には解決策が存在しない。
• 特に高解像度画像の場合、限界のある GPU メモリのため、フル解像度での推論時に頻繁にメモリオーバーフロー（OOM）が発生する。
• アリゼーション効果（方向性パターンの歪みとして現れる）は、CNN や CAE を用いたモデルで顕著であり、特に低ビットレートで顕著になる。
• 現在のフレームワークは CPU と GPU 間での移植性に欠けており、トレーニングと推論が異なるハードウェアプラットフォームで行われる際、再構成に失敗する原因となっている。

Figure 2: Block diagram of JPEG compression and decompression.