[論文レビュー] Learning Accurate Entropy Model with Global Reference for Image Compression

Yichen Qian, Zhiyu Tan+6 more|arXiv (Cornell University)|Oct 16, 2020

Advanced Image Processing Techniques参考文献 22被引用数 35

ひとこと要約

グローバル参照ベースのエントロピーモデルと平均値をシフトさせるGDN（GSDN）を導入し、学習済み画像圧縮におけるレート–歪み性能を改善。局所文脈、グローバル参照、ハイパリファイアを組み合わせることで、標準ベンチマークで最先端の成果を示す。

ABSTRACT

In recent deep image compression neural networks, the entropy model plays a critical role in estimating the prior distribution of deep image encodings. Existing methods combine hyperprior with local context in the entropy estimation function. This greatly limits their performance due to the absence of a global vision. In this work, we propose a novel Global Reference Model for image compression to effectively leverage both the local and the global context information, leading to an enhanced compression rate. The proposed method scans decoded latents and then finds the most relevant latent to assist the distribution estimating of the current latent. A by-product of this work is the innovation of a mean-shifting GDN module that further improves the performance. Experimental results demonstrate that the proposed model outperforms the rate-distortion performance of most of the state-of-the-art methods in the industry.

研究の動機と目的

• 学習済み画像圧縮における潜在表現の非局所的な空間冗長性を動機づけ、解決する。
• エントロピー推定において局所文脈とハイパリファイアを補強するグローバル参照モジュールを開発する。
• 平均シフトを補正し、潜在分布の整合性を改善するためにGSDNを導入する。
• 結合モデルが最先端のコーデックおよび学習ベースの方法に対してRD性能の改善をもたらすことを示す。

提案手法

• 局所文脈、グローバル参照、ハイパリファイアを統合したエントロピーモデルを組み合わせた自動エンコーダベースの画像圧縮フレームワークを拡張する。
• 各潜在表現を、前の特徴に条件づけられた平均(mu)とスケール(σ)を持つガウス分布としてモデル化し、先行研究と同様にハイパリファイル（p_hat_y）項を追加する。
• デコード済み潜在量（マスクされたパッチ）を検索して各ターゲット潜在には適切な潜在量をコサイン類似度と信頼マップUを用いて重み付けして参照する参照ベースのモジュールを実装する。
• 潜在分布の平均シフト問題を補正し、デコード時の可逆性を可能にするため、GDNの代わりに一般化された減算・除算法正規化（GSDN）を用いる。
• 局所・グローバル・ハイパリファイア機能を段階的に組み合わせ、ガウスパラメータ(mu, sigma)を段階的に精緻化する。
• レート–歪み目的で訓練し、MSEとMS-SSIMの歪みの両方を探索し、BPG/JPEGおよび既存の学習済み手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 グローバル参照機構は、潜在表現の非局所的な空間冗長性を活用してエントロピー推定を改善できるだろうか？
• RQ2 局所文脈とハイパリファイアと統合したグローバル参照は、コンテキストのみおよびハイパリファイアに基づくエントロピーモデルより学習済み画像圧縮で優れているか？
• RQ3 GDNをGSDNに置換することが潜在分布と全体的な圧縮性能に与える影響はどの程度か？
• RQ4 提案された参照モジュールは、異なる歪み指標（MSEとMS-SSIM）およびビットレートの下でどのように挙動するか？
• RQ5 最先端手法に対してRD利得を提供しつつ、複雑さの点で結合モデルはスケーラブルか？

主な発見

• 全体モデルは Kodak および他のベンチマークで PSNR および MS-SSIM の RD 性能で最先端のコーダおよび学習ベースの手法を上回る。
• グローバル参照を追加すると、低ビットレートでコンテキストのみのモデルより5.3%のレート削減。
• 信頼マップUを組み込むと、参照モデルの性能がさらに改善される。
• 提案されたGSDNでGDNを置換すると、追加で約2.0%のレート削減。
• 低ビットレートでBPGに対して最大21%のBDレート削減を達成。
• 局所文脈、グローバル参照、およびハイパリファイアを組み合わせることで、全体のモデルの複雑さを増やすことなく段階的な改善を達成。