[論文レビュー] Multi-scale and Context-adaptive Entropy Model for Image Compression

Jing Zhou, Wen, Sihan+3 more|arXiv (Cornell University)|Oct 17, 2019

Advanced Data Compression Techniques被引用数 12

ひとこと要約

本稿では、自己回帰的および階層的プライオリティを組み合わせたマルチスケールで文脈適応型のエントロピー・モデルを備えた、エンド・ツー・エンドで学習可能な画像圧縮フレームワークを提案する。特に低ビットレートにおけるレート・ディストーション性能の向上を目的としている。本手法は、マルチスケール・マスク付き畳み込み、受容 field のクロッピングと選択的算術符号化による計算最適化、複数モデル間のビットレート割り当てを統合することで、制約下でのMS-SSIM性能を最大化し、最先端の性能を達成する。

ABSTRACT

We propose an end-to-end trainable image compression framework with a multi-scale and context-adaptive entropy model, especially for low bitrate compression. Due to the success of autoregressive priors in probabilistic generative model, the complementary combination of autoregressive and hierarchical priors can estimate the distribution of each latent representation accurately. Based on this combination, we firstly propose a multi-scale masked convolutional network as our autoregressive model. Secondly, for the significant computational penalty of generative model, we focus on decoded representations covered by receptive field, and skip full zero latents in arithmetic codec. At last, according to the low-rate compression's constraint in CLIC-2019, we use a method to maximize MS-SSIM by allocating bitrate for each image.

研究の動機と目的

• マルチスケールおよび文脈適応型モデリングを通じてエントロピー・モデルの精度を向上させることで、低ビットレートにおける画像圧縮性能を向上させること。
• 自己回帰的エントロピー・モデルの高い計算コストを、受容 field のクロッピングと選択的算術符号化による推論最適化によって低減すること。
• 全ビットレート制約下でデータセット全体のMS-SSIMを最大化するために、複数のモデル間で適応的ビットレート割り当てを実施すること。
• 高度なエントロピー・モデリングと効率的な圧縮戦略を統合することで、CLIC-2019ベンチマークで最先端の性能を達成すること。

提案手法

• 各画素の周囲に3つのリングに分けた文脈を適応的にモデル化するため、異なるカーネルサイズ（7×7、5×5、3×3）の3つの並列マスク付き畳み込み層を備えたマルチスケール・マスク付き畳み込みネットワークを導入する。
• 中間エンコーダー層からのマルチスケール特徴マップと潜在表現を統合し、ハイパープライオリティベースのエントロピー・モデリングのための文脈を豊かにする。
• 自己回帰的文脈モデルにおける計算量を削減するため、最大受容 field（7×7）に処理を制限し、この範囲を超える重複計算を回避する。
• 完全にゼロの特徴マップの符号化をスキップするフラグ・ベクトルを導入することで算術符号化を最適化し、符号化ストリームのサイズと復号時間の削減を実現しつつ、性能に損失を生じさせない。
• ナップサックベースのビットレート割り当て戦略を採用し、異なるλ値で学習された複数のモデルに対して、個々の画像に最適なビットレートを割り当て、全体のMS-SSIMを最大化する。
• ハイパープライオリティ用に因数分解されたエントロピー・モデルと、1×1畳み込みを用いた学習可能なエントロピー・モデルを導入し、各潜在特徴の正規分布パラメータ（μおよびσ）を予測する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールで文脈適応型の自己回帰的エントロピー・モデルは、特に低ビットレートにおいてレート・ディストーション性能を向上させることができるか？
• RQ2 自己回帰的エントロピー・モデリングの高い計算コストを、圧縮精度を損なわずに低減する方法は何か？
• RQ3 完全にゼロの特徴マップの検出に基づく選択的算術符号化は、レートにほとんど影響を与えないまま復号速度をどの程度向上させることができるか？
• RQ4 異なるλ値で学習された複数のモデル間でのビットレート割り当てにより、全ビットレート制約下で全体のMS-SSIM性能を向上させることができるか？
• RQ5 階層的および自己回帰的プライオリティとマルチスケール文脈モデリングを統合することで、Kodak や CLIC-2019 などのベンチマークデータセットで最先端の性能が達成できるか？

主な発見

• 提案手法は、CLIC-2019 テストデータセットにおいて0.150 bppでMS-SSIM 0.9739を達成し、単一モデルベースラインを上回り、新たな最先端性能を樹立した。
• ビットレート範囲 [0.120, 0.267] bpp の間で、全モデル評価において最高のMS-SSIM（0.9739）とPSNR（28.50）を達成し、広いビットレート割り当ての利点を示した。
• 選択的算術符号化手法により、大規模画像（例：2000×2000）の復号時間を96％以上短縮したが、エントロピーの増加は0.0001 bpp未満に留まり、ほとんど無視できる。
• 受容 field のクロッピングにより、1ピクセルあたりの計算量をO(h×w×c)からO(7×7×c)に削減したが、性能に劣化は認められず、完全な文脈情報が7×7の受容 field 内に保持された。
• マルチスケール文脈モデルにより、複数のカーネルサイズを用いることで長距離依存性を捉え、再構成品質の向上が図られた。
• 統合的ビットレート割り当て戦略により、CLIC-2019チャレンジでMS-SSIMで2位、MOS（平均意見スコア）で3位を達成し、実世界の評価環境でも有効性が検証された。