[論文レビュー] Deep Image Compression via End-to-End Learning

Haojie Liu, Tong Chen+3 more|arXiv (Cornell University)|Jun 1, 2018

Advanced Image Processing Techniques被引用数 22

ひとこと要約

この論文は、CNNを用いた深層学習ベースの画像圧縮手法を提案しており、等価なビットレートにおけるMS-SSIMでBPG、WebP、JPEG2000、JPEGを上回る性能を発揮する。率歪み最適化のための新規な「簡単から難しい」転移学習戦略に加え、知覚的および敵対的損失を組み合わせることで、KodakおよびETH ZurichのP/Mデータセットでそれぞれ7.81%および19.1%のBDレート削減を達成した。

ABSTRACT

We present a lossy image compression method based on deep convolutional neural networks (CNNs), which outperforms the existing BPG, WebP, JPEG2000 and JPEG as measured via multi-scale structural similarity (MS-SSIM), at the same bit rate. Currently, most of the CNNs based approaches train the network using a L2 loss between the reconstructions and the ground-truths in the pixel domain, which leads to over-smoothing results and visual quality degradation especially at a very low bit rate. Therefore, we improve the subjective quality with the combination of a perception loss and an adversarial loss additionally. To achieve better rate-distortion optimization (RDO), we also introduce an easy-to-hard transfer learning when adding quantization error and rate constraint. Finally, we evaluate our method on public Kodak and the Test Dataset P/M released by the Computer Vision Lab of ETH Zurich, resulting in averaged 7.81% and 19.1% BD-rate reduction over BPG, respectively.

研究の動機と目的

• 単一のL2画素単位再構成損失のみを用いるCNNベースの画像圧縮手法で一般的に見られる視覚的品質の劣化および過剰な平滑化を是正すること。
• 訓練目的に知覚的および敵対的損失を組み込むことで、低ビットレートにおける主観的画像品質を向上させること。
• 段階的に量子化およびレート制約を導入する新規な「簡単から難しい」転移学習戦略により、率歪み最適化（RDO）を強化すること。
• 標準ベンチマークデータセット上でMS-SSIMおよびBDレート削減を指標に、画像圧縮分野における最先端の性能を達成すること。

提案手法

• 本手法は、エンドツーエンドの画像圧縮を実現するための深層畳み込みニューラルネットワーク（CNN）を採用し、画像特徴と量子化の共同表現を学習する。
• 知覚損失を用いることで、ハイレベルな意味的および構造的コンテンツを保持し、過剰な平滑化を低減し、視覚的品質を向上させる。
• 生成敵対ネットワーク（GAN）の枠組みで、識別器を用いて本物の画像と再構成画像を区別する敵対的損失を導入し、テクスチャの現実性および知覚的忠実度を向上させる。
• 訓練中に段階的に量子化およびレート制約の強度を増加させる「簡単から難しい」転移学習スケジュールを適用し、最適化の安定性を向上させる。
• 微分可能なレート推定を用いてレート制約をモデル化し、L2再構成損失、知覚損失、敵対的損失を組み合わせた複合損失関数でネットワークを訓練する。
• このフレームワークにより、歪みとレートの共同最適化が可能となり、従来手法に比べてより優れた率歪みトレードオフを達成する。

実験結果

リサーチクエスチョン

• RQ1 標準的なL2損失と比較して、知覚的および敵対的損失を組み合わせることで、深層画像圧縮における主観的画像品質が向上するか？
• RQ2 提案された「簡単から難しい」転移学習戦略は、CNNベースの圧縮における率歪み最適化の収束性および性能にどのように影響を与えるか？
• RQ3 提案手法は、BPG や WebP といった最先端のコーデックと比較して、標準ベンチマーク上でのBDレート削減をどの程度達成できるか？
• RQ4 本手法は、低ビットレートにおいて多様な画像コンテンツに対して優れたMS-SSIM性能を維持できるか？

主な発見

• 提案手法は、公開のKodakデータセットにおいてBPG比で平均7.81%のBDレート削減を達成し、優れた率歪み効率を示した。
• ETH ZurichのP/Mテストデータセットでは、BPG比で19.1%のBDレート削減を達成し、多様で挑戦的な画像セットでも優れた性能を示した。
• 知覚損失および敵対的損失の組み込みにより、視覚的品質が顕著に向上し、特に低ビットレートにおいて過剰な平滑化が低減され、テクスチャの詳細が強化された。
• 「簡単から難しい」転移学習戦略により、安定した訓練とより良い収束が実現され、率歪み性能の向上に寄与した。
• 等価なビットレートにおいて、BPG、WebP、JPEG2000、JPEGをすべて上回るMS-SSIM性能を達成し、最先端の性能を確認した。
• 結果から、知覚的および敵対的監視によるエンドツーエンド学習が、標準的なL2ベースの学習と比較してより自然な再構成像を生成できることを確認した。