[論文レビュー] Dynamic Kernel-Based Adaptive Spatial Aggregation for Learned Image Compression

Huairui Wang, Nianxiang Fu+2 more|arXiv (Cornell University)|Aug 17, 2023

Advanced Data Compression TechniquesComputer Science被引用数 3

ひとこと要約

本論文は、動的カーネルに基づく適応的空間集約を用いて受容 field の柔軟性とコンテンツに適した特徴抽出を向上させる、学習可能な画像圧縮フレームワークである Dynamic Kernel-based Image Compression (DKIC) を提案する。Lite Deformable Convolution (LDCN) を一般化された粗いから細かい entropy モデルと非対称な空間的・チャネル的モデリングと統合することで、中程度のモデル複雑性で最先端のレート・ディストーション性能を達成し、標準ベンチマークにおいて VTM-12.1 や SOTA 手法を上回る性能を発揮する。

ABSTRACT

Learned image compression methods have shown superior rate-distortion performance and remarkable potential compared to traditional compression methods. Most existing learned approaches use stacked convolution or window-based self-attention for transform coding, which aggregate spatial information in a fixed range. In this paper, we focus on extending spatial aggregation capability and propose a dynamic kernel-based transform coding. The proposed adaptive aggregation generates kernel offsets to capture valid information in the content-conditioned range to help transform. With the adaptive aggregation strategy and the sharing weights mechanism, our method can achieve promising transform capability with acceptable model complexity. Besides, according to the recent progress of entropy model, we define a generalized coarse-to-fine entropy model, considering the coarse global context, the channel-wise, and the spatial context. Based on it, we introduce dynamic kernel in hyper-prior to generate more expressive global context. Furthermore, we propose an asymmetric spatial-channel entropy model according to the investigation of the spatial characteristics of the grouped latents. The asymmetric entropy model aims to reduce statistical redundancy while maintaining coding efficiency. Experimental results demonstrate that our method achieves superior rate-distortion performance on three benchmarks compared to the state-of-the-art learning-based methods.

研究の動機と目的

• 標準的な畳み込みやウィンドウベースのアテンションが抱える固定範囲の空間的集約の制限を克服すること。
• コンテンツに応じた動的カーネルオフセットを可能にすることで、受容 field の適応性を向上させ、より優れた特徴表現を実現すること。
• グローバルな文脈、チャネル単位の依存関係、空間的文脈を統合した一般化された粗いから細かい entropy モデルを設計し、より良い確率推定を実現すること。
• グループ化された潜在分布に特化した非対称な空間的・チャネル的 entropy モデリングにより、統計的冗長性を低減すること。
• 妥当なモデル複雑性と推論速度を維持しながら、優れたレート・ディストーション性能を達成すること。

提案手法

• コンテンツに適応するカーネルオフセットとグループ共有重みを学習する Lite Deformable Convolution (LDCN) を基盤とする動的カーネル機構を導入し、柔軟な空間的集約を実現する。
• 後処理正規化と動的カーネル層を備えた残差ボトルネックブロックを採用し、非線形表現学習を向上させる。
• グローバル文脈、チャネル単位の依存関係、空間的文脈を統合して同時にモデリングする一般化された粗いから細かい entropy モデルを提案する。
• 潜在グループの特性に応じて空間的およびチャネル的文脈を異なる方法でモデリングすることで、冗長性を低減する非対称な空間的・チャネル的 entropy モデルを設計する。
• 局所的帰属マップ (LAM) とパス積分勾配を用いて、異なる手法の有効受容 field (ERF) を可視化・分析する。
• 精度と速度のバランスを取るために、共同自己回帰的 entropy モデリングと段階的文脈精錬を組み合わせた二段階訓練戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 動的カーネルに基づく空間的集約は、学習可能な画像圧縮における受容 field の適応性とコンテンツに適した特徴学習を向上させ得るか？
• RQ2 粗いから細かい entropy モデリングの統合は、潜在表現における確率推定の向上と冗長性の低減にどのように寄与するか？
• RQ3 非対称な空間的・チャネル的 entropy モデルは、符号化効率を損なわず、統計的冗長性をどの程度低減できるか？
• RQ4 提案手法は、最先端の学習可能な圧縮モデルと比較して、レート・ディストーション性能および計算コストの両面で優れているか？
• RQ5 動的カーネル設計は、再構成における有効受容 field の形状と特徴の関連性にどのような影響を及ぼすか？

主な発見

• DKIC は Kodak、CLIC およびその他のベンチマークにおいて、すべての比較手法の中で最良のレート・ディストーション性能を達成し、VTM-12.1 や STF や InvComp といった SOTA 手法を上回る。
• 有効受容 field (ERF) の可視化により、DKIC がより関連性が高くコンテンツに適応した領域（楕円状で集中したフィールド）を捉え、固定カーネルやウィンドウアテンション手法とは異なり不要なピxlsを避けることが確認された。
• 1 枚の 768×512 画像あたりの符号化時間は RTX 3090 1 枚で約 150ms であり、Cheng2020 や InvComp といった自己回帰的手法に比べて高速でありながら、優れた RD 性能を維持している。
• 提案された非対称な空間的・チャネル的 entropy モデルは、冗長性を低減し、高い符号化効率を実現しており、文脈モデリング戦略のアブレーションスタディにより裏付けられた。
• 後処理正規化を施した動的残差ブロック設計（LDCN と MLP の後に LN）が最も優れた性能を発揮し、他のトランスフォーマーや CNN アーキテクチャの研究結果とも整合する。
• DKIC はパラメータ数が 53.3M であり、SwinT-ChARM の 60.5M よりも効率的で、STF の 99.8M よりも顕著に効率的でありながら、依然として優れた RD 性能を達成している。