[論文レビュー] Joint Global and Local Hierarchical Priors for Learned Image Compression

Jun-Hyuk Kim, Byeongho Heo+1 more|arXiv (Cornell University)|Dec 8, 2021

Advanced Data Compression Techniques被引用数 4

ひとこと要約

本稿では、コンテンツ依存的なアテンションメカニズムを用いて、グローバルおよびローカルの階層的プライオリティを統合する、画像圧縮のための新規な学習済みエントロピー・モデルであるInformerを提案する。クロスアテンションを用いたグローバルハイパープライオリティと、1×1畳み込みによるローカルハイパープライオリティを組み合わせることで、KodakおよびTecnickデータセットにおいて最先端のレート・ディストーション性能を達成するとともに、先行のグローバル手法と同様に二次関数的計算複雑度を回避する。

ABSTRACT

Recently, learned image compression methods have outperformed traditional hand-crafted ones including BPG. One of the keys to this success is learned entropy models that estimate the probability distribution of the quantized latent representation. Like other vision tasks, most recent learned entropy models are based on convolutional neural networks (CNNs). However, CNNs have a limitation in modeling long-range dependencies due to their nature of local connectivity, which can be a significant bottleneck in image compression where reducing spatial redundancy is a key point. To overcome this issue, we propose a novel entropy model called Information Transformer (Informer) that exploits both global and local information in a content-dependent manner using an attention mechanism. Our experiments show that Informer improves rate--distortion performance over the state-of-the-art methods on the Kodak and Tecnick datasets without the quadratic computational complexity problem. Our source code is available at https://github.com/naver-ai/informer.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）ベースのエントロピー・モデルが、局所的受容野の制限により長距離の空間的依存関係を捉えることができないという限界を解消すること。
• 受容野内における異なる画像領域を一様に扱う畳み込み演算のコンテンツに依存しない性質を克服すること。
• グローバルおよびローカルの依存関係を、コンテンツ依存的に効果的に統合するエントロピー・モデルを設計し、圧縮効率を向上させること。
• 先行のグローバルアテンションベースのモデルと同様に二次関数的計算複雑度を負担せずに、優れたレート・ディストーション性能を達成すること。

提案手法

• 量子化された潜在表現の異なる領域に注目することで、グローバルハイパープライオリティを生成するクロスアテンションメカニズムを用いる新しいエントロピー・モデル、Informerを提案する。
• ローカル依存関係に特化し、グローバルトークンがローカルパターンに過剰適合しないようにするため、1×1畳み込み層を用いたローカルハイパープライオリティを導入する。
• ローカルおよびグローバルハイパープライオリティの両方を用いて文脈プライオリティを更新する、共同自己回帰的かつ階層的なプライオリティフレームワークを採用する。
• グローバルハイパープライオリティにおいてマスク付きマルチヘッド自己アテンションを用い、コンテンツに応じた形で長距離依存関係をモデル化する。
• グローバルおよびローカルハイパープライオリティを別々に処理し、その後融合してからエントロピー推定ネットワークで使用する、二重ブランチアーキテクチャを設計する。
• 可変なトークン数（N）を持つ学習可能なグローバルトークン機構を採用し、ビットレート要件に応じた依存関係の適応的モデリングを可能にする。

Figure 1 : Overview of the proposed method. Our Informer is a learned entropy model capturing global dependencies in a content-dependent manner using the attention mechanism [ 46 ] .

実験結果

リサーチクエスチョン

• RQ1 コンテンツ依存的なアテンションメカニズムは、画像圧縮の潜在表現における長距離空間的依存関係を効果的にモデル化できるか？
• RQ2 グローバルおよびローカルハイパープライオリティを併用することで、単一のプライオリティタイプを使用する場合と比較して、レート・ディストーション性能が向上するか？
• RQ3 提案手法は、先行のSOTAグローバルアテンションベースのモデルと同様に、二次関数的計算複雑度を負担せずに、より優れた性能を達成できるか？
• RQ4 グローバルトークンの数は、異なるビットレート領域におけるレート・ディストーショントレードオフにどのように影響するか？
• RQ5 画像圧縮におけるアテンションメカニズムの優位性は、そのアーキテクチャそのものに起因するのか、それともグローバルおよびローカルプライオリティの共同設計に起因するのか？

主な発見

• Kodakデータセットにおいてλ = 0.0067の条件下で、Informerは0.2763 bppのレートと31.3254 dBのPSNRを達成し、ベースラインおよびグローバルリファレンスモデルを上回った。
• λ = 0.0483の条件下では、Informerは0.8514 bppおよび36.9739 dBのPSNRを達成し、グローバル文脈モデル（0.8718 bpp、36.9134 dB）を上回り、ビットレートの各レベルで一貫した向上を示した。
• 低ビットレートでは4つのグローバルトークンが最適な性能を示し、高ビットレートでは8つのトークンがより良い結果をもたらした。これは、残存冗長性に基づいた適応的依存関係モデリングを示している。
• アテンションマップの可視化により、グローバルトークンが明確に内容に関連する画像領域（例：レンガ対窓）に注目していることが確認され、コンテンツ依存的なグローバルモデリングの有効性が裏付けられた。
• アブレーションスタディの結果、文脈プライオリティをグローバルハイパープライオリティで更新する方が、ローカルハイパープライオリティで更新するよりも効果的であり、グローバルプライオリティの強力なモデリング能力が示された。
• Informerは、先行のグローバルモデルが抱える二次関数的計算複雑度を回避しながら、性能を維持または向上させた。これは、実世界での展開に向けた実用性を高めた。

(a) Hyperprior [ 8 ]