[論文レビュー] Contextformer: A Transformer with Spatio-Channel Attention for Context Modeling in Learned Image Compression

A. Burakhan Koyuncu, Han Gao+4 more|arXiv (Cornell University)|Mar 4, 2022

Advanced Data Compression Techniques被引用数 4

ひとこと要約

本稿では、学習済み画像圧縮における空間的・チャネル的依存関係を共同でモデル化するスパティオチャネルアテンションを備えたトランスフォーマー型コンテキストモデル、Contextformerを提案する。現代の圧縮フレームワークにおける標準的なコンテキストモデルを置き換えることで、Kodak、CLIC2020、Tecnickデータセットにおいて、VTM 16.2に比べ最大11%のレート削減を達成し、PSNRおよびMS-SSIMの両面で既存の学習ベース手法を上回る性能を発揮する。

ABSTRACT

Entropy modeling is a key component for high-performance image compression algorithms. Recent developments in autoregressive context modeling helped learning-based methods to surpass their classical counterparts. However, the performance of those models can be further improved due to the underexploited spatio-channel dependencies in latent space, and the suboptimal implementation of context adaptivity. Inspired by the adaptive characteristics of the transformers, we propose a transformer-based context model, named Contextformer, which generalizes the de facto standard attention mechanism to spatio-channel attention. We replace the context model of a modern compression framework with the Contextformer and test it on the widely used Kodak, CLIC2020, and Tecnick image datasets. Our experimental results show that the proposed model provides up to 11% rate savings compared to the standard Versatile Video Coding (VVC) Test Model (VTM) 16.2, and outperforms various learning-based models in terms of PSNR and MS-SSIM.

研究の動機と目的

• 学習済み画像圧縮におけるエントロピーモデリングにおいて、潜在空間におけるスパティオチャネル依存関係が十分に活用されていない問題に対処すること。
• 非適応的なマスク付き畳み込みの代わりに、動的でアテンションベースのメカニズムを導入することで、コンテキストの適応性を向上させること。
• モデルサイズの増加や再トレーニングを伴わずに、高い性能を維持する効率的な推論パイプラインの開発。
• SOTAの学習ベース圧縮モデルおよびVVCテストモデル（VTM）16.2を上回るレート・ディストーション性能を達成すること。

提案手法

• 潜在テンソルにおける空間的およびチャネルワイド依存関係を同時にモデル化できる、標準的な自己アテンションを一般化した新規なスパティオチャネルアテンション機構を導入する。
• トランスフォーマー・アーキテクチャに基づくコンテキストモデル、Contextformerを設計し、各トークンが潜在表現全体の空間的およびチャネル関連特徴に注目する。
• 入力パターンに応じて動的にコンテキストを適応させるために、学習可能なクエリ、キー、バリューを用いたマルチヘッドアテンション機構を採用する。
• エンコーダ実行時間を短縮するための2つのアルゴリズム的最適化、ブロック単位のデコード（BDS）とセグメント単位のコーディング戦略（SCS）を適用し、並列処理を可能にする。
• デコーダで波面デコード（wavefront decoding）を採用することで並列処理を実現し、デコード時間を短縮し、3Dコンテキストモデルに比べ9倍の高速化を達成する。
• 性能向上をアーキテクチャ的イノベーションと推論最適化によって達成しつつ、従来の研究と同一のモデルアーキテクチャおよびパラメータ数を維持する。

実験結果

リサーチクエスチョン

• RQ1 空間的およびクロスチャネル依存関係を共同でモデル化するトランスフォーマー型コンテキストモデルは、学習済み画像圧縮におけるレート・ディストーション性能を向上させることができるか？
• RQ2 スパティオチャネルアテンションは、標準的な空間的アテンションやチャネルワイドアテンションと比較して、エントロピーモデリングの精度において優れているか？
• RQ3 性能を損なわず、再トレーニングを要せず、アテンションベースコンテキストモデルの計算コストを低減できるか？
• RQ4 コーディング順序とチャネルセグメンテーションの影響は、情報分布およびモデル性能にどのような影響を与えるか？
• RQ5 提案手法は、VTM 16.2および他の学習ベース手法と比較して、PSNR、MS-SSIM、およびレート削減の観点で優れているか？

主な発見

• Kodak、CLIC2020、Tecnickデータセット全体において、ContextformerはVTM 16.2に比べ平均6.9%〜10.5%のBD-Rate向上を達成し、レート削減を実現した。
• PSNRおよびMS-SSIMの両面で、評価されたすべての学習ベースベースラインを上回り、優れたレート・ディストーション性能および知覚的性能を示した。
• チャネルファーストオーダー（cfo）コーディング戦略を用いることで、Contextformerは全情報の70%以上を最初の2つのチャネルセグメントに格納しており、強力なクロスチャネル依存関係モデリングを示している。
• 4つのチャネルセグメントを用いたモデルが、性能と複雑さの最適なトレードオフを達成しており、セグメント数の増加は訓練コストを著しく増加させる一方で、性能向上はわずかであった。
• BDSおよびSCS最適化により、Kodak（低解像度）から4K画像にスケーリングしても、ピixe数が20倍に増加したにもかかわらず、エンコーダ実行時間はわずか3倍に増加した。
• 波面デコードにより、3Dコンテキストモデルに比べ9倍の高速化が達成され、推論における並列処理の有効性が裏付けられた。