[論文レビュー] DeepFGS: Fine-Grained Scalable Coding for Learned Image Compression

Yi Ma, Yongqi Zhai+1 more|arXiv (Cornell University)|Jan 4, 2022

Advanced Data Compression Techniques被引用数 7

ひとこと要約

DeepFGSは、特徴分離バックボーンと情報再配置戦略を採用することで、連続的なビットストリームスケーラビリティを実現する最初の学習可能で細粒度のスケーラブルな画像圧縮モデルを提案する。これにより、1回のエンコード・デコードで優れたレート・ディストーション性能を達成でき、全テストビットレートにおいて従来のものおよび学習ベースのスケーラブルコーデックを上回るPSNRおよびMS-SSIM性能を実現する。

ABSTRACT

Scalable coding, which can adapt to channel bandwidth variation, performs well in today's complex network environment. However, the existing scalable compression methods face two challenges: reduced compression performance and insufficient scalability. In this paper, we propose the first learned fine-grained scalable image compression model (DeepFGS) to overcome the above two shortcomings. Specifically, we introduce a feature separation backbone to divide the image information into basic and scalable features, then redistribute the features channel by channel through an information rearrangement strategy. In this way, we can generate a continuously scalable bitstream via one-pass encoding. In addition, we reuse the decoder to reduce the parameters and computational complexity of DeepFGS. Experiments demonstrate that our DeepFGS outperforms all learning-based scalable image compression models and conventional scalable image codecs in PSNR and MS-SSIM metrics. To the best of our knowledge, our DeepFGS is the first exploration of learned fine-grained scalable coding, which achieves the finest scalability compared with learning-based methods.

研究の動機と目的

• 既存のスケーラブルな画像圧縮手法に見られる、圧縮性能の低下と粗いスケーラビリティという制限を解消すること。
• 1回のエンコードパスで細粒度かつ連続的なスケーラビリティを実現できる学習可能な画像圧縮モデルの開発。
• 任意のビットレートで、ビットストリームを任意の位置で切り詰めることで高品質な画像再構成を可能にすること。
• 相互情報量モデリングによるエントロピー推定の向上と、デコーダーの再利用によるモデル複雑度の低減。

提案手法

• ピクセルレベルおよび特徴レベルでの冗長性を最小限に抑えるために、画像特徴を基本的（l_b）およびスケーラブル（l_s）なコンponentsに分割する特徴分離バックボーンを導入する。
• l_s特徴をチャネル単位で再配置する情報再配置戦略を採用し、前方依存性を確立することで、各デコードチャネルごとに段階的な品質向上を実現する。
• l_bとl_sの間の依存関係をモデリングすることで、確率推定を改善しエントロピー推定誤差を低減する、相互情報量に配慮したエントロピーモデルを採用する。
• パラメータ数と計算複雑度を低減するため、デコーダー・ネットワークを再利用することで効率性を向上させ、性能に劣化を来さずに実現する。
• 1回のエンコードにより、全ビットレート範囲をカバーする単一の連続的スケーラブルなビットストリームを生成可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習可能な画像圧縮モデルは、レート・ディストーション性能を維持または向上させつつ、細粒度かつ連続的なスケーラビリティを達成できるか？
• RQ2 基本的およびスケーラブルなコンponents間の特徴冗長性をどのように最小化することで、圧縮効率を向上させられるか？
• RQ3 複数回のエンコードを必要とせずに、チャネル単位でのデコードによって段階的な品質向上を実現できる情報再配置戦略は可能か？
• RQ4 特徴コンponents間の相互情報量モデリングは、エントロピー推定および全体的な圧縮性能をどの程度向上させられるか？

主な発見

• DeepFGSは、すべての学習ベースおよび従来のスケーラブルな画像コーデックの中で最高のPSNRおよびMS-SSIM性能を達成し、全テストビットレートでBPGおよびVVCを上回る。
• モデルはほぼ連続的なスケーラビリティを実現し、1つのビットストリームから数十の異なる品質レベルの高品質な画像をデコード可能である。
• アブレーションスタディの結果、提案されたすべてのモジュール（特徴レベルの冗長性除去、特徴融合、相互エントロピーモデリング）が性能向上に顕著な寄与をしていることが確認され、MEMは高ビットレートで、FFMは低ビットレートでより効果的であることが判明した。
• 視覚的結果では、特に顔や織物などのテクスチャや輪郭に、従来手法よりも多くの構造的詳細を保持していることが示された。
• 複数の品質レイヤーが必要な状況において、シムルキャストベースのアプローチを上回る効率性を示しており、レイヤー間の冗長性を排除した。