[論文レビュー] Neural Image Compression via Non-Local Attention Optimization and Improved Context Modeling

Tong Chen, Haojie Liu+4 more|arXiv (Cornell University)|Oct 11, 2019

Advanced Data Compression Techniques参考文献 37被引用数 36

ひとこと要約

本論文は、非局所注意機構と改良された3D コンテキストモデリングを用いた CNN ベースの変分オートエンコーダ NLAIC を画像圧縮に導入し、局所・グローバルな相関を捉えることで Kodak および CLIC データセットで最先端のレート歪み特性を達成します。

ABSTRACT

This paper proposes a novel Non-Local Attention optmization and Improved Context modeling-based image compression (NLAIC) algorithm, which is built on top of the deep nerual network (DNN)-based variational auto-encoder (VAE) structure. Our NLAIC 1) embeds non-local network operations as non-linear transforms in the encoders and decoders for both the image and the latent representation probability information (known as hyperprior) to capture both local and global correlations, 2) applies attention mechanism to generate masks that are used to weigh the features, which implicitly adapt bit allocation for feature elements based on their importance, and 3) implements the improved conditional entropy modeling of latent features using joint 3D convolutional neural network (CNN)-based autoregressive contexts and hyperpriors. Towards the practical application, additional enhancements are also introduced to speed up processing (e.g., parallel 3D CNN-based context prediction), reduce memory consumption (e.g., sparse non-local processing) and alleviate the implementation complexity (e.g., unified model for variable rates without re-training). The proposed model outperforms existing methods on Kodak and CLIC datasets with the state-of-the-art compression efficiency reported, including learned and conventional (e.g., BPG, JPEG2000, JPEG) image compression methods, for both PSNR and MS-SSIM distortion metrics.

研究の動機と目的

• 局所とグローバルな画像相関の両方を捉えることで、圧縮性能の向上を動機づける。
• 明示的なシグナリングなしにビット割り当てを適応させる埋め込み型非局所注意を備えたVAEベースのコーダを開発する。
• 潜在特徴の予測精度を高めるため、結合された3D自己回帰コンテキストとハイパープリオを用いたエントロピーモデリングを強化する。
• 実世界の展開に向けて、メモリと計算量を削減する実用的な拡張を提案する。
• 標準ベンチマークにおいて、学習済みコーダと従来のコーダに対して優れたレート歪み性能を示す。

提案手法

• 局所およびグローバルな相関を捉えるため、非局所ネットワーク演算を主エンコーダ/デコーダとハイパープリオのエンコーダ/デコーダに非線形変換として埋め込む。
• アテンション機構を適用して、シグナリングオーバーヘッドなしに特徴間でビット割り当てを黙示的に適応させるマスクを生成する。
• 潜在特徴の条件付きエントロピー推定のために、ハイパープリオと共同で3Dマスク付き畳み込みベースの自己回帰コンテキストモデルを使用する。
• 複数層のアテンションマスクを備えた非局所注意モジュール(NLAM)を組み込み、エンドツーエンド学習を指導する。
• 複雑さ削減オプションを導入する：スパース非局所処理、並列3Dコンテキストモデリング、品質スケーリング因子による統一変量レートモデル。
• 潜在レートとハイパープリオレートを結合し、歪み項（MSE または MS-SSIM）を含むレート歪み目的関数でエンドツーエンド学習を行う。

実験結果

リサーチクエスチョン

• RQ1 非局所的相関を学習型画像圧縮でどのように活用してレート歪み性能を改善できるか。
• RQ2 アテンション生成による黙示的マスクは、明示的なシグナルオーバーヘッドなしに適応的なビット割り当てを可能にするか。
• RQ3 3D自己回帰コンテキストとハイパプリオを共同利用して、潜在特徴のエントロピーモデリングを改善するか。
• RQ4 実用的な拡張（スパースNLAM、並列3Dコンテキスト、統一変量レートモデル）は、性能低下がほとんどない範囲で速度とメモリを改善するか。
• RQ5 標準ベンチマーク（Kodak、CLIC）において、NLAICは従来のコーダや他の学習系圧縮器とどう比較されるか。

主な発見

• NLAIC は Kodak および CLIC データセットにおいて、PSNR および MS-SSIM の両方で既存の学習済みコーダおよび従来のコーダを上回る。
• 複数の層にまたがる非局所注意マスクを導入し、明示的なビット割り当てシグナリングなしに適応処理を実現。
• 空間チャネルの自己回帰近傍とハイパプリオを共同で使用する3Dマスク付き畳み込みコンテキストモデルは、エントロピ―符号化の条件統計をより正確にする。
• 提案された実用拡張（スパースNLAM、並列3Dコンテキストモデリング、統一変量レートモデル）は、記憶と計算量を削減し、符号化効率の損失はほとんどない。
• BD-Rate の利得は、いくつかのアンカーと比較して: JPEG アンカーに対して 64.39%、Minnen2018 に対して 59.84%、BPG (YCbCr 4:4:4) HM に対して 59.46%、Ballé2018 に対して 56.19%、JPEG2000 に対して 38.02%。