[論文レビュー] Checkerboard Context Model for Efficient Learned Image Compression

Dailan He, Yaoyan Zheng+3 more|arXiv (Cornell University)|Mar 29, 2021

Advanced Data Compression Techniques参考文献 32被引用数 16

ひとこと要約

本論文は、学習済み画像圧縮のための並列化可能なチェッカーボード型コンテキストモデル（CCM）を提案する。このモデルは、復号順序を2パスに再編成することで、効率的で高速な復号を可能にする。従来の自己回帰的コンテキストモデルが厳密な逐次処理に依存するのに対し、CCMはチェッカーボード型畳み込みを用いてコンテキスト特徴の並列計算を可能とし、最先端のモデルと比較してレート・ディストーション性能にほとんど損失のない状態で40倍以上の高速化を達成する。

ABSTRACT

For learned image compression, the autoregressive context model is proved effective in improving the rate-distortion (RD) performance. Because it helps remove spatial redundancies among latent representations. However, the decoding process must be done in a strict scan order, which breaks the parallelization. We propose a parallelizable checkerboard context model (CCM) to solve the problem. Our two-pass checkerboard context calculation eliminates such limitations on spatial locations by re-organizing the decoding order. Speeding up the decoding process more than 40 times in our experiments, it achieves significantly improved computational efficiency with almost the same rate-distortion performance. To the best of our knowledge, this is the first exploration on parallelization-friendly spatial context model for learned image compression.

研究の動機と目的

• 学習済み画像圧縮における自己回帰的コンテキストモデルの計算非効率性を解消すること。これは、厳密な逐次復号に依存しており、リアルタイム展開を妨げている。
• 復号中に完全な並列化を可能にしつつ、高いレート・ディストーション性能を維持するコンテキストモデリング手法を開発すること。
• モデルアーキテクチャーや容量を変更せずに、既存の逐次コンテキストモデルの即時置き換えを可能にすること。
• 自己回帰的コンテキストモデリングの復号ボトル neck を克服することで、高性能な学習済み圧縮コーデックの実用的展開を可能にすること。

提案手法

• コンパクトなコンテキスト特徴を2つの交互に配置された集合（アンカーとノンアンカー）に分割するチェッカーボード型畳み込みを提案し、並列コンテキスト計算を可能にする。
• 2パス復号方式を設計：まずすべてのアンカー位置を復号し、次にすべてのノンアンカー位置を並列でコンテキストを計算する。
• 因果関係を保つために、コンテキストモデリング中にすでに復号済み（可視）の隣接画素にのみ注目するようにマスク付き畳み込みを適用する。
• 標準の自己回帰的モデルと同じコンテキストモデル構造を採用するが、計算順序を再編成することで逐次的依存関係を排除する。
• モデルアーキテクチャーや容量を変更せず、コンテキストモデリングモジュールのみを置き換えることで、既存の学習済み画像圧縮フレームワークと互換性を保つ。
• 標準のエントロピー符号化とハイパープライオアリングを採用し、主なオートエンコーダーやハイパープライオアリング部の変更は一切行わない。

実験結果

リサーチクエスチョン

• RQ1 学習済み画像圧縮のための空間的コンテキストモデルを、レート・ディストーション性能を損なわせることなく完全に並列化可能か？
• RQ2 自己回帰的モデルにおいて、コンテキスト特徴の効率的並列計算を可能にする復号戦略は何か？
• RQ3 潜在表現の計算順序を再編成することで、どの程度の復号高速化が達成できるか？
• RQ4 提案手法は、最先端の圧縮アーキテクチャにおける既存の逐次コンテキストモデルの即時置き換えとして実用的か？

主な発見

• 提案されたチェッカーボードコンテキストモデルは、並列処理環境（Nvidia TITAN XP）において、従来の逐次的コンテキストモデルと比較して復号速度が40倍以上向上した。
• モデルはほぼ同一のレート・ディストーション性能を維持しており、元の逐次モデルと比較してPSNRおよびMS-SSIMにわずかな低下しか見られない。
• Kodakデータセットでは、CCMベースのモデルがMinnen2018およびCheng2020のコンテキストフリー・ハイパープライオアリングベースラインに対して、それぞれ17.0%および27.4%のBDBR向上を達成した。
• 本手法は複数のデータセットにわたり一貫した性能向上を示し、KodakおよびTecnickデータセットの両方で有効であることが確認され、汎用性が裏付けられた。
• 2パス復号方式はコンテキスト計算を効果的に分離し、因果関係とモデルの正確性を保ちつつ完全な並列化を実現した。
• 本手法は既存のSOTAアーキテクチャと互換性があり、アーキテクチャの変更なしにプラグインとしての導入が可能である。