[論文レビュー] Performance Comparison of Convolutional AutoEncoders, Generative Adversarial Networks and Super-Resolution for Image Compression

Zhengxue Cheng, Heming Sun+2 more|arXiv (Cornell University)|Jul 1, 2018

Advanced Image Processing Techniques被引用数 13

ひとこと要約

本稿では、畳み込みオートエンコーダ（CAE）、生成対抗ネットワーク（GAN）、およびスーパーレゾリューション（SR）の3つの深層学習ベースの画像圧縮手法を提案および比較する。CAEは、圧縮された表現を学習することでJPEGより優れた符号化効率を達成する。GANは、優れた主観的品質を示し、高圧縮比でも優れた性能を発揮する。SRベースの圧縮は、レート・ディストーション性能が最も良く、BPGに近い効率を達成している一方で、0.15 bppの条件下でPSNRとMS-SSIMの両面でCAEおよびGANを上回っている。

ABSTRACT

Image compression has been investigated for many decades. Recently, deep learning approaches have achieved a great success in many computer vision tasks, and are gradually used in image compression. In this paper, we develop three overall compression architectures based on convolutional autoencoders (CAEs), generative adversarial networks (GANs) as well as super-resolution (SR), and present a comprehensive performance comparison. According to experimental results, CAEs achieve better coding efficiency than JPEG by extracting compact features. GANs show potential advantages on large compression ratio and high subjective quality reconstruction. Super-resolution achieves the best rate-distortion (RD) performance among them, which is comparable to BPG.

研究の動機と目的

• 3つの深層学習ベースの画像圧縮アーキテクチャ（CAE、GAN、スーパーレゾリューション）の性能を評価および比較すること。
• さまざまな圧縮比における符号化効率、主観的品質、およびレート・ディストーションのトレードオフを評価すること。
• 学習された画像圧縮手法が、JPEG や BPG のような従来のコーデックを上回ることの可能性を検証すること。
• 深層学習とスーパーレゾリューションの組み合わせが、再構築品質の向上にどのように寄与するかを調査すること。
• PSNR や MS-SSIM といった標準的な指標を用いて、エンドツーエンドの学習済み圧縮手法の包括的なベンチマークを提供すること。

提案手法

• CAEベースの手法は、PReLU活性化関数と、MSE再構築損失および潜在表現のL2ノルムを組み合わせたレート・ディストーション損失関数を用いた畳み込みオートエンコーダを採用する。
• GANベースの手法は、ジェネレータ・ディスクラミネータアーキテクチャを採用し、ジェネレータがデコーダとして機能し、ディスクラミネータが特徴マッチング損失を通じて知覚的フィードバックを提供する。
• スーパーレゾリューション手法は、前処理としてバイキュービック補間を用い、デコーダで学習されたSRフィルタを適用して再構築品質を向上させる。
• すべての手法は、PCA、均一量子化、JPEG2000のエントロピー符号化を用いて最終的なビットストリームを生成する。
• 学習にはAdam最適化手法を用い、固定された学習率とバッチサイズを設定し、モデルはCLIC検証データセット上で評価される。
• レート・ディストーション性能は、さまざまなビットレートでPSNRとMS-SSIMを用いて評価され、入力サイズ、コードサイズ、量子化ビット数に関するアブレーションスタディが実施される。

実験結果

リサーチクエスチョン

• RQ1 CAEベースの圧縮のレート・ディストーション性能は、JPEG や BPG と比べてどうか？
• RQ2 GANベースの対抗学習は、高圧縮比における主観的画像品質にどのような影響を与えるか？
• RQ3 スーパーレゾリューション技術は、学習された画像圧縮の再構築品質とレート・ディストーション性能を向上させることができるか？
• RQ4 補間や量子化といった異なる前処理戦略は、最終的な圧縮効率にどのように影響するか？
• RQ5 PSNR や MS-SSIM の観点から、学習された圧縮手法は、JPEG2000 や BPG のような従来のコーデックをどの程度上回ることができるか？

主な発見

• CAEは、画像の圧縮された低次元表現を学習できるため、JPEGに比べて優れた符号化効率を達成する。
• GANベースの圧縮は、低ビットレートにおける主観的品質が優れており、特に0.2–0.8 bppの範囲でMS-SSIMにおいて顕著な優位性を示す。
• スーパーレゾリューションベースの圧縮は、最良のレート・ディストーション性能を達成し、0.143 bppで30.00 dBのPSNRと0.947のMS-SSIMを達成しており、BPGの性能に非常に近い。
• 0.15 bppの条件下で、SR手法はPSNRとMS-SSIMの両面でCAEおよびGANを上回り、それぞれ30.00 dBと0.947を記録した。BPGは30.85 dBと0.948を記録しており、SRはその性能に非常に近い。
• 補間スケールを(W,H)から(4W,4H)に引き上げると、PSNRは約3.5 dB向上するが、ビットレートはほぼ4倍に増加するため、品質と効率のトレードオフが顕在化する。
• 量子化ビット数を8ビットから5ビットに減らすと再構築品質が著しく低下し、PSNRは25.179 dBにまで低下する。これはビット深度に非常に敏感であることを示している。