[論文レビュー] The Devil Is in the Details: Window-based Attention for Image Compression

Renjie Zou, Chunfeng Song+1 more|arXiv (Cornell University)|Mar 16, 2022

Advanced Data Compression Techniques被引用数 8

ひとこと要約

本論文は、非周期的テクスチャの再構成を改善することで、学習済み画像圧縮の性能を向上させるためのウィンドウベースの局所的アテンション機構を提案する。これは、CNNが非周期的テクスチャを捉える能力に欠けるという限界を補うものである。この手法はCNNおよびTransformerアーキテクチャの両方へスムーズに統合可能であり、特にMS-SSIM最適化下で最先端のレート・ディストーション性能を達成し、視覚的品質と詳細再現性の両面で顕著な向上を示す。

ABSTRACT

Learned image compression methods have exhibited superior rate-distortion performance than classical image compression standards. Most existing learned image compression models are based on Convolutional Neural Networks (CNNs). Despite great contributions, a main drawback of CNN based model is that its structure is not designed for capturing local redundancy, especially the non-repetitive textures, which severely affects the reconstruction quality. Therefore, how to make full use of both global structure and local texture becomes the core problem for learning-based image compression. Inspired by recent progresses of Vision Transformer (ViT) and Swin Transformer, we found that combining the local-aware attention mechanism with the global-related feature learning could meet the expectation in image compression. In this paper, we first extensively study the effects of multiple kinds of attention mechanisms for local features learning, then introduce a more straightforward yet effective window-based local attention block. The proposed window-based attention is very flexible which could work as a plug-and-play component to enhance CNN and Transformer models. Moreover, we propose a novel Symmetrical TransFormer (STF) framework with absolute transformer blocks in the down-sampling encoder and up-sampling decoder. Extensive experimental evaluations have shown that the proposed method is effective and outperforms the state-of-the-art methods. The code is publicly available at https://github.com/Googolxx/STF.

研究の動機と目的

• CNNベースの学習済み画像圧縮における、非周期的局所テクスチャの再構成に内在する限界を解消すること。
• 画像圧縮タスクにおいて、局所に注目するアテンション機構がグローバルアテンションを上回るかを調査すること。
• CNNおよびTransformerベースの圧縮モデルの両方を強化できる、柔軟でプラグアンドプレイ可能なアテンションモジュールを設計すること。
• エンコーダーとデコーダーに同一の絶対的Transformerブロックを備えた、新規な対称的Transformer（STF）フレームワークを構築すること。
• PSNRやMS-SSIM指標に依存せず、高コントラスト領域や詳細領域へのビット割り当てを改善することで、知覚的品質を向上させること。

提案手法

• 局所的な空間的ウィンドウ内で自己アテンションを計算するウィンドウベースのアテンション機構（WAM）を提案し、短距離の空間相関を捉える。
• 既存のCNNおよびTransformerアーキテクチャ、特にSTFフレームワークにWAMをプラグインモジュールとして統合する。
• エンコーダーとデコーダーに同一の絶対的Transformerブロックを備えた対称的Transformer（STF）を設計し、対称的な特徴学習を実現する。
• 固定された空間的ウィンドウ内でチャネル別マルチヘッド自己アテンションを用いることで、局所的テクスチャの詳細を保持しながら計算効率を維持する。
• 効率的なビットストリーム符号化のためSGMベースのエントロピーモデルを適用し、Transformerブロックにレイヤーナーミャライゼーションを適用する。
• MSEおよびMS-SSIM最適化の両方を想定したハイパーパrameterを調整し、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 グローバルアテンションと比較して、局所に注目するアテンション機構は、学習済み画像圧縮における非周期的テクスチャの再構成を改善できるか？
• RQ2 レート・ディストーション性能および視覚的品質の観点から、ウィンドウベースのアテンション機構は非局所アテンションと比べてどのように差をつけるか？
• RQ3 ウィンドウベースのアテンションモジュールは、CNNおよびTransformerベースの圧縮モデルへの統合において、どの程度一般化可能か？
• RQ4 対称的なTransformerブロックを備えた提案された対称的Transformer（STF）フレームワークは、非対称的または標準的なTransformer設計と比較して再構成精度を向上させるか？
• RQ5 MSEとMS-SSIMの異なる最適化目的下で、提案手法の性能は知覚的品質の観点からどのように変化するか？

主な発見

• λ=0.0035の条件下で、WAMを適用したモデルはベースラインCNNモデル（Minnen2020）と比較してPSNRが0.16 dB向上し、bppが0.003低下した。
• λ=0.0130の条件下で、WAMを統合したモデルは34.10 dBのPSNR、0.448 bppを達成し、ベースライン（33.87 dB、0.454 bpp）および非局所アテンション変種（33.95 dB、0.467 bpp）を上回った。
• ウィンドウアテンションを備えたSTFモデルは、テキストやエッジのような高コントラスト領域において、特に優れた視覚的品質を発揮しており、定性的な比較で明確に示された。
• アブレーションスタディの結果、WAMは異なるλ値において一貫して性能向上を示し、そのロバスト性と有効性が裏付けられた。
• 提案手法は最先端のレート・ディストーション性能を達成しており、特にMS-SSIM最適化下で顕著な向上を示し、より優れた知覚的品質を示している。
• ウィンドウベースのアテンション機構はCNNおよびTransformerアーキテクチャの両方と互換性があり、プラグアンドプレイコンponentとしての強力な一般化能力を示している。