[論文レビュー] Estimating the Resize Parameter in End-to-end Learned Image Compression

Li–Heng Chen, Christos G. Bampis+3 more|arXiv (Cornell University)|Apr 26, 2022

Advanced Vision and Imaging被引用数 5

ひとこと要約

この論文は、中核的な圧縮モデルを変更せずに、深層画像圧縮におけるレート・ディストーション性能を向上させるため、最適なリサイズ要因を同時に学習する、学習可能でコンテンツに適応するリサイズフレームワークを提案する。軽量な補助ネットワーク（ResizeParamNet）によって制御される微分可能ダウンサンプリングおよびアップサンプリング層を導入することで、最先端の知覚的コードックに対して最大10%のBjøntegaard-Deltaレート改善を達成した。

ABSTRACT

We describe a search-free resizing framework that can further improve the rate-distortion tradeoff of recent learned image compression models. Our approach is simple: compose a pair of differentiable downsampling/upsampling layers that sandwich a neural compression model. To determine resize factors for different inputs, we utilize another neural network jointly trained with the compression model, with the end goal of minimizing the rate-distortion objective. Our results suggest that "compression friendly" downsampled representations can be quickly determined during encoding by using an auxiliary network and differentiable image warping. By conducting extensive experimental tests on existing deep image compression models, we show results that our new resizing parameter estimation framework can provide Bjøntegaard-Delta rate (BD-rate) improvement of about 10% against leading perceptual quality engines. We also carried out a subjective quality study, the results of which show that our new approach yields favorable compressed images. To facilitate reproducible research in this direction, the implementation used in this paper is being made freely available online at: https://github.com/treammm/ResizeCompression.

研究の動機と目的

• 学習可能な画像圧縮における最適なリサイズ要因を求めるブルートフォースサーチの非効率性を解消すること。
• 中核的な圧縮アーキテクチャを変更せずに、深層画像圧縮モデルにおけるレート・ディストーショントレードオフを改善すること。
• コンテンツに適応するリサイズパラメータを、軽量なニューラルネットワークを用いて推定する汎用的でエンド・トゥ・エンドで訓練可能なフレームワークを開発すること。
• 客観的指標と主観的品質評価を通じて、提案手法の知覚的関連性を検証すること。

提案手法

• 事前に存在する圧縮モデルの前後において、共有されるリサイズ要因Mを持つ微分可能ダウンサンプリングおよびアップサンプリング層を導入する。
• 各入力画像に対してコンテンツに適応的に最適なMを予測するため、補助ニューラルネットワークであるResizeParamNetを訓練する。
• Mをビットストリームに符号化することで、レート・ディストーションの目的関数を用いて、圧縮モデルとResizeParamNetをエンド・トゥ・エンドで同時に最適化する。
• トレーニング中にリサイズ操作を通過するバックプロパゲーションを可能にするために、微分可能な画像ワープを用いる。
• 中核的なアーキテクチャを変更せずに、既存の学習可能な圧縮モデルにプラグインとして統合できるようにする。
• 最小限のオーバーヘッドでビットストリームに推定されたM値を符号化し、デコーダーでの再構成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、学習可能な画像圧縮におけるレート・ディストーション性能の向上を目的として、コンテンツに適応するリサイズ要因を効果的に推定できるか？
• RQ2 提案されたフレームワークは、固定解像度のベースラインと比較して、客観的指標および知覚的品質の両面で測定可能な向上を達成するか？
• RQ3 提案手法の性能は、客観的および主観的評価において、最先端の学習可能な圧縮モデルと比較してどの程度優れているか？
• RQ4 既存の画像品質評価モデルは、アダプティブリサイズの文脈において、人間の知覚とどの程度相関しているか？

主な発見

• 提案されたフレームワークは、最先端の知覚的画像圧縮モデルに対して平均10%のBjøntegaard-Deltaレート改善を達成した。
• 主観的品質評価では、特に低ビットレートにおいて、人間の観察者が提案手法で生成された圧縮画像を好む傾向が確認された。
• 本手法は、Ballé18-Hyperを含む複数の深層圧縮モデルに良好に一般化され、中核アーキテクチャを変更せずにプラグインとして機能する。
• VIFおよびVMAFは人間の知覚と最も強い相関を示したのに対し、PSNRに基づく指標は性能が低く、提案手法の知覚的関連性を裏付けた。
• リサイズ処理によって目立つアーティファクト（例：ぼやけたロゴ）が生じた場合に、失敗事例が観察された。これは、高コントラストまたはテキストを含むコンテンツの処理における限界を示している。
• 2AFCスコア分析により、VIFおよびVMAFが人間の判断を強く予測する指標であることが確認され、理論上のオラクル性能に近いスコアを示した。