[論文レビュー] Learning a Single Tucker Decomposition Network for Lossy Image Compression with Multiple Bits-Per-Pixel Rates

Jianrui Cai, Zisheng Cao+1 more|arXiv (Cornell University)|Jul 10, 2018

Advanced Data Compression Techniques参考文献 45被引用数 4

ひとこと要約

本稿では、タッカー分解を用いて1つの深層畳み込みニューラルネットワーク（TDNet）を提案し、複数のビット/ピクセル（bpp）レートにおける損失あり画像圧縮を実現する。微分可能なタッカー分解層（TDL）を導入することで、潜在特徴を射影行列と低ランクコアテンソルに分解し、コアテンソルのランクと量子化を制御することで、1つのネットワーク内で圧縮レートを動的に調整可能となる。このアプローチにより、再訓練を必要とせず、複数のbpp設定において最先端のPSNRおよびMS-SSIM性能を達成する。

ABSTRACT

Lossy image compression (LIC), which aims to utilize inexact approximations to represent an image more compactly, is a classical problem in image processing. Recently, deep convolutional neural networks (CNNs) have achieved interesting results in LIC by learning an encoder-quantizer-decoder network from a large amount of data. However, existing CNN-based LIC methods usually can only train a network for a specific bits-per-pixel (bpp). Such a "one network per bpp" problem limits the generality and flexibility of CNNs to practical LIC applications. In this paper, we propose to learn a single CNN which can perform LIC at multiple bpp rates. A simple yet effective Tucker Decomposition Network (TDNet) is developed, where there is a novel tucker decomposition layer (TDL) to decompose a latent image representation into a set of projection matrices and a core tensor. By changing the rank of the core tensor and its quantization, we can easily adjust the bpp rate of latent image representation within a single CNN. Furthermore, an iterative non-uniform quantization scheme is presented to optimize the quantizer, and a coarse-to-fine training strategy is introduced to reconstruct the decompressed images. Extensive experiments demonstrate the state-of-the-art compression performance of TDNet in terms of both PSNR and MS-SSIM indices.

研究の動機と目的

• 既存のCNNベースの損失あり画像圧縮（LIC）手法における「1レートごとに1つのネットワーク」という制限を解消すること。
• 再トレーニングを必要とせず、1つのディープニューラルネットワークで複数のビット/ピクセル（bpp）レートをサポートすること。
• 空間的に変化するコンテンツをモデル化することで、非一様量子化による量子化効率の向上を図ること。
• 粗〜細のトレーニング戦略とエンドツーエンド最適化を用いて再構成品質を向上させること。
• 潜在空間にタッカー分解を統合し、低ランク構造を活用して効率的な圧縮を実現すること。

提案手法

• 潜在特徴マップをコアテンソルと複数の射影行列に分解する新規なタッカー分解層（TDL）を提案する。
• コアテンソルのランクとその量子化レベルを、1つのネットワーク内でbppレートを制御するための調整可能パrameter（調整ノブ）として用いる。
• 係数の分布に基づいて最適化された量子化境界を得るための反復的非一様量子化スキームを設計する。
• トレーニングの安定性と再構成品質の向上を目的に、粗〜細のトレーニング戦略を実装する。
• MSEまたはMS-SSIM損失を用いて、エンドツーエンドでネットワーク全体をトレーニングする。
• 推論時にコアテンソルのランクと量子化深度を動的に調整することで、マルチレート圧縮を実現する。

実験結果

リサーチクエスチョン

• RQ1 1つのディープニューラルネットワークを、複数のビット/ピクセル（bpp）レートで損失あり画像圧縮に使用できるか。
• RQ2 タッカー分解をニューラルネットワークに統合することで、再トレーニングなしに動的レート制御が可能になるか。
• RQ3 非一様量子化により、潜在特徴の統計的分布に適応することで、圧縮効率が向上するか。
• RQ4 粗〜細のトレーニング戦略は、エンドツーエンドLICネットワークにおける再構成品質とトレーニング安定性を向上させるか。
• RQ5 1つのネットワークで、複数のbppレートにおいて最先端の性能を達成し、高いPSNRおよびMS-SSIMを維持できるか。

主な発見

• Kodakデータセットにおいて、MSE損失でトレーニングしたTDNetは、JPEG、JPEG2000、BPG、および他の深層学習ベースのLIC手法よりも優れたPSNR性能を達成した。
• McMasterデータセットでは、TDNetはPSNR面でBPGを顕著に上回り、低bppレートでの強力な性能を示した。
• MS-SSIM損失でトレーニングしたTDNetは、最先端のMS-SSIM結果を達成し、BPG、JPEG2000、および大多数の先行深層学習ベースの圧縮手法を上回った。
• 視覚的比較では、特にテクスチャが豊富な領域において、TDNetはJPEG、JPEG2000、BPG、および他の深層学習手法よりもシャープなエッジとより少ないアーチファクトを生成した。
• 本手法は、1つのネットワークで広範なbppレート範囲において競争力のある性能を発揮し、各レートごとの別々のモデルの必要性を排除した。
• 反復的非一様量子化と粗〜細のトレーニング戦略が、再構成品質の向上とトレーニング安定性の向上に寄与した。