[論文レビュー] Non-local Attention Optimized Deep Image Compression

Haojie Liu, Tong Chen+5 more|arXiv (Cornell University)|Apr 22, 2019

Advanced Data Compression Techniques参考文献 26被引用数 75

ひとこと要約

非局所注意機構（NLAIC）を提案する。変分オートエンコーダを用いた画像圧縮で、ハイパープリオリティと潜在特徴を非局所注意とともに共同モデル化し、エントロピー符号化とビット割り当てを改善する。KodakデータセットにおいてMS-SSIMとPSNRで最先端の結果を達成。

ABSTRACT

This paper proposes a novel Non-Local Attention Optimized Deep Image Compression (NLAIC) framework, which is built on top of the popular variational auto-encoder (VAE) structure. Our NLAIC framework embeds non-local operations in the encoders and decoders for both image and latent feature probability information (known as hyperprior) to capture both local and global correlations, and apply attention mechanism to generate masks that are used to weigh the features for the image and hyperprior, which implicitly adapt bit allocation for different features based on their importance. Furthermore, both hyperpriors and spatial-channel neighbors of the latent features are used to improve entropy coding. The proposed model outperforms the existing methods on Kodak dataset, including learned (e.g., Balle2019, Balle2018) and conventional (e.g., BPG, JPEG2000, JPEG) image compression methods, for both PSNR and MS-SSIM distortion metrics.

研究の動機と目的

• 画像と潜在特徴領域の局所・グローバル相関を捉えることで、画像圧縮の性能向上を動機づける。
• 非局所注意を組み込んだVAEベースのアーキテクチャを開発し、適応ビット割り当てのための暗黙の重要度マスクを生成する。
• ハイパープリオリと潜在特徴の空間-チャネル文脈を用いてエントロピー推定を強化する。
• 標準ベンチマークにおいて、学習型および従来のコーデックに対する最先端のレート-歪み性能を示す。

提案手法

• メイン/ハイパープリオリのエンコーダー・デコーダーに非局所注意モジュール（NLAM）を組み込み、局所およびグローバルな画素・特徴の相関を捉える。
• 信号情報のオーバーヘッドなしに暗黙の特徴重要性を実現するため、非局所モジュールと残差ブロックの連鎖によって注意マスクを生成する。
• 空間-チャネル近傍とハイパープリオリからの条件付き統計をエントロピー符号化のためにモデル化する1層のマスク付き3D CNNを用いる。
• 2つのバリアントを提供: NLAIC baseline（ハイパープリオリのみ）とNLAIC joint（ハイパープリオリ＋自己回帰的近傍による文脈モデリング）。
• MS-SSIMまたはMSE損失を対象としたレート-歪み最適化で、さまざまなビットレートに渡ってエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 非局所注意は、学習型画像圧縮における潜在表現とエントロピー符号化の効率を改善できるか？
• RQ2 共同文脈モデリング（ハイパープリオリと自己回帰的近傍）は、ハイパープリオリのみの文脈モデリングと比較してレート-歪みにおいて優れているか？
• RQ3 注意マスクがビット割り当てと歪みの異なる指標（MS-SSIMとPSNR）に与える影響はどの程度か？
• RQ4 標準ベンチマークでNLAICはJPEG、JPEG2000、BPGおよび他の学習型コーダとどう比較されるか？

主な発見

• 共同文脈モデリングを備えたNLAICは、KodakでMS-SSIMとPSNRの両方に対して最先端のレート-歪み性能を達成。
• 結合モデルはJPEGに対するBD-RateをJPEG420で64.39%、BPG444で12.26%削減した（論文に報告された平均結果）。
• アブレーション研究によりNLAM成分を除くとPSNRが低下することが示され、メインのエンコーダ/デコーダでNLAMマスクを維持すると最良の性能が得られる。
• NLAIC baselineは既存手法のいくつかを上回り、NLAIC jointはより大きな性能向上を提供。
• ハイパープリオリは圧縮効率に寄与し、目標ビットレートと損失関数によって相対的なビット寄与が異なる。
• 本手法はBSD500で主観的品質が向上し、ベースラインと比較して客観指標も競争力がある。