[論文レビュー] Gated Context Model with Embedded Priors for Deep Image Compression

Haojie Liu, Tong Chen+3 more|arXiv (Cornell University)|Feb 27, 2019

Image and Signal Denoising Methods参考文献 20被引用数 8

ひとこと要約

本稿では、分離可能スタックを用いて受容 field の盲点を解消し、情報補償ネットワークを導入して再構築品質を向上させる、埋め込み事前分布を備えたゲート付きコンテキストモデルを提案する。MS-SSIM を歪度指標として用いた際、Kodak データセットにおいて全ビットレートで JPEG や JPEG2000 や BPG や先行の学習ベース手法を上回る、最先端のレート-歪度性能を達成している。

ABSTRACT

A deep image compression scheme is proposed in this paper, offering the state-of-the-art compression efficiency, against the traditional JPEG, JPEG2000, BPG and those popular learning based methodologies. This is achieved by a novel conditional probably model with embedded priors which can accurately approximate the entropy rate for rate-distortion optimization. It utilizes three separable stacks to eliminate the blind spots in the receptive field for better probability prediction and computation reduction. Those embedded priors can be further used to help the image reconstruction when fused with latent features, after passing through the proposed information compensation network (ICN). Residual learning with generalized divisive normalization (GDN) based activation is used in our encoder and decoder with fast convergence rate and efficient performance. We have evaluated our model and other methods using rate-distortion criteria, where distortion is measured by multi-scale structural similarity (MS-SSIM). We have also discussed the impacts of various distortion metrics on the reconstructed image quality. Besides, a field study on perceptual quality is also given via a dedicated subjective assessment, to compare the efficiency of our proposed methods and other conventional image compression methods.

研究の動機と目的

• JPEG や JPEG2000 のような伝統的画像圧縮手法が固定線形変換と限られた予測モードに依存するという性能のボトル neck を解消すること。
• 埋め込み事前分布とゲート機構を備えた条件付き確率モデルを導入することで、深層学習ベースの圧縮におけるエントロピーレート推定を改善すること。
• 情報補償ネットワーク（ICN）を用いてハイパーピリオドと潜在特徴を統合することで、画像再構築品質を向上させること。
• MS-SSIM や SSIM、MSE、VGGベースの特徴など、異なる歪度指標がエンドツーエンドの学習フレームワークにおけるレート-歪度効率に与える影響を評価すること。
• DSIS の変種を用いた主観的品質評価を通じて、低ビットレートにおける知覚的優位性を検証すること。

提案手法

• 受容フィールドの盲点を解消するため、3つの分離可能スタックを備えたゲート付きコンテキストモデルを採用し、確率予測の向上と計算量の低減を実現する。
• 潜在ベクトル z を用いて埋め込み事前分布を導入し、条件付き確率密度 p(x|z) をガウス分布のスケール混合としてモデル化することで、正確なエントロピー率推定を実現する。
• バッチ正規化に代わる高速収束と効率的な特徴学習を実現するため、エンコーダーとデコーダーで一般化除法正規化（GDN）を用いた残差学習を採用する。
• ハイパーピリオド z を変換し、潜在表現と統合することで再構築品質を向上させる情報補償ネットワーク（ICN）を適用する。
• 訓練時には勾配近似を用いたソフトからハードへの量子化を、推論時には直接丸め処理を適用することで微分可能性を維持する。
• レート R をビット単位で測定し、歪度 D を MS-SSIM で評価するレート-歪度最適化（RDO）を用いてモデルを最適化する。λ をトレードオフパラメータとして用いる。

実験結果

リサーチクエスチョン

• RQ1 埋め込み事前分布を備えたゲート付きコンテキストモデルは、既存の学習ベース手法よりもエントロピー率推定を改善し、より優れたレート-歪度性能を達成できるか？
• RQ2 分離可能スタックの使用は、深層画像圧縮における受容フィールドの盲点をどのように低減させ、確率予測を向上させるか？
• RQ3 情報補償ネットワークを介して統合された埋め込み事前分布は、画像再構築品質をどの程度向上させるか？
• RQ4 MS-SSIM や PSNR や VGGベースの特徴など、異なる歪度指標は、学習済み圧縮モデルの知覚的品質とレート-歪度効率にどのように影響を与えるか？
• RQ5 主観的評価により、低ビットレートにおける本手法の知覚的品質が BPG や JPEG2000 などの従来コアドと比較してどの程度優れているか？

主な発見

• 本手法は、Kodak データセットにおいて全ビットレートで、MS-SSIM と実際のビットレートを指標にした際、JPEG や JPEG2000 や BPG や先行の学習ベース手法を上回る最先端の圧縮効率を達成している。
• DSIS の変種を用いた主観的評価では、低ビットレート（≤0.5 bpp）においても本手法が高い知覚的品質を維持しており、他の手法と比較して色ずれやブロックノイズ、過剰な平滑化が最小限に抑えられている。
• 極めて低いビットレート（≤0.2 bpp）では、本手法が高品質で視覚的に整合性のある再構築を生成する一方、他の手法は著しい視覚的劣化を示している。
• 高ビットレートでは、BPG や JPEG2000 が PSNR において本手法を上回っていることから、PSNR は高レートでの忠実度最適化において MS-SSIM よりも有利であることが示された。
• 本研究では、MS-SSIM が低ビットレートにおける知覚的品質の保持に有効であることが確認されたが、全ビットレート範囲で忠実度をバランスよく保つ歪度指標の必要性が浮き彫りになった。
• GDN 活性化関数と残差学習の併用により、高速な収束と効率的な性能が実現され、本モデルの実用的導入可能性を裏付けた。