[論文レビュー] Real-Time Adaptive Image Compression

Oren Rippel, Lubomir Bourdev|arXiv (Cornell University)|May 16, 2017

Advanced Image Processing Techniques参考文献 20被引用数 114

ひとこと要約

GPU上でリアルタイムに動作しつつ、JPEG、JPEG 2000、WebP、BPGより小さいファイルを達成する、機械学習ベースのオートエンコーダによる損失を伴う画像圧縮。

ABSTRACT

We present a machine learning-based approach to lossy image compression which outperforms all existing codecs, while running in real-time. Our algorithm typically produces files 2.5 times smaller than JPEG and JPEG 2000, 2 times smaller than WebP, and 1.7 times smaller than BPG on datasets of generic images across all quality levels. At the same time, our codec is designed to be lightweight and deployable: for example, it can encode or decode the Kodak dataset in around 10ms per image on GPU. Our architecture is an autoencoder featuring pyramidal analysis, an adaptive coding module, and regularization of the expected codelength. We also supplement our approach with adversarial training specialized towards use in a compression setting: this enables us to produce visually pleasing reconstructions for very low bitrates.

研究の動機と目的

• 軽量でリアルタイムなMLベースの画像圧縮器を開発し、従来のコーデックを圧縮効率で上回る。
• 学習済みの表現を通じて目標ビットレートを満たすための適応ビットストリーム制御を可能にする。
• 非常に低いビットレートでの知覚品質を向上させるために敵対的訓練を取り入れる。
• ピラミッド状のマルチスケール特徴抽出と適応コーディングパイプラインを活用して効率を高める。

提案手法

• スケール全体の構造を捉えるためのピラミッド状マルチスケール特徴抽出。
• スケール間アライメントを用いてスケール間の情報を統合。
• 量子化、ビットプレーン分解、および量子化表現のロスレス符号化のための適応算術符号化。
• ターゲットビットレートへ向けて期待符号長を誘導する適応符号長正則化。
• 視覚的に心地よい再構成を促すためのGAN識別器を用いたマルチスケール敵対的訓練。

実験結果

リサーチクエスチョン

• RQ1 ニューラル圧縮モデルは、複数のビットレートで従来のコーデックを上回りつつ、リアルタイムのエンコード/デコード速度を維持できるか？
• RQ2 適応符号長正則化とビットプレーン算術符号化をどのように統合して、ターゲットビットレートを効率的に達成できるか？
• RQ3 マルチスケール敵対的訓練は、圧縮性能を犠牲にすることなく非常に低いビットレートで知覚品質を向上させるか？

主な発見

Codec	RGB file size (kb)	YCbCr file size (kb)	Encode time (ms)	Decode time (ms)
Ours	21.4	17.4	8.6	9.9
JPEG	65.3	43.6	18.6	13.0
JP2	54.4	43.8	367.4	80.4
WebP	49.7	37.6	67.0	83.7

• 提案されたMLベースのコーデックは、Kodak PhotoCDおよびRAiSE-1kデータセットの品質レベル全体で、JPEGおよびJPEG 2000より通常2.5倍小さく、WebPより2倍、小さく、BPGより1.7倍小さいファイルを生成します。
• GTX 980 Ti GPUでは、エンコード/デコード時間が各画像あたり約9 msと10 msであり、リアルタイムの実現性を示します。
• 本手法は、 tested rates における平均 MS-SSIM/Datasets の性能で、従来のコーデックおよび従来のMLベース手法を上回ります。
• 適応符号長正則化は、ターゲットビットレートに向けて期待ビット数を制御しつつ、柔軟なボトルネック容量を維持します。
• マルチスケール敵対的訓練は、 ground-truth 画像の統計と一致させることで低ビットレートでも視覚的に心地よい再構成をもたらします。