[論文レビュー] Variable-Rate Deep Image Compression through Spatially-Adaptive Feature Transform

Myungseo Song, Jin-Young Choi+1 more|arXiv (Cornell University)|Aug 21, 2021

Advanced Image Processing Techniques参考文献 42被引用数 4

ひとこと要約

本論文は、連続的で画素単位の品質マップに基づいて歪みの重みを条件づける空間的適応型特徴変換（SFT）を用いた、変動レート画像圧縮のための1つの深層ニューラルネットワークを提案する。モデルは再訓練を伴わずにバックプロパゲーションにより品質マップを最適化することでタスクに適応した圧縮を可能にし、固定レートモデルと比較して優れたレート・歪み性能と、分類やテキストの保持といったタスク固有の精度を向上させた。

ABSTRACT

We propose a versatile deep image compression network based on Spatial Feature Transform (SFT arXiv:1804.02815), which takes a source image and a corresponding quality map as inputs and produce a compressed image with variable rates. Our model covers a wide range of compression rates using a single model, which is controlled by arbitrary pixel-wise quality maps. In addition, the proposed framework allows us to perform task-aware image compressions for various tasks, e.g., classification, by efficiently estimating optimized quality maps specific to target tasks for our encoding network. This is even possible with a pretrained network without learning separate models for individual tasks. Our algorithm achieves outstanding rate-distortion trade-off compared to the approaches based on multiple models that are optimized separately for several different target rates. At the same level of compression, the proposed approach successfully improves performance on image classification and text region quality preservation via task-aware quality map estimation without additional model training. The code is available at the project website: https://github.com/micmic123/QmapCompression

研究の動機と目的

• 各ターゲットビットレートごとに別々に訓練が必要な固定レートの深層圧縮モデルの制限を克服すること。
• 画像の異なる領域が画素単位の重要度に基づいて異なるレートで圧縮される、空間的適応型圧縮を実現すること。
• 主な圧縮モデルの微調整なしに、推論時にタスク固有の品質マップを生成する方法を開発すること。
• 1つのモデルで広範なビットレート範囲において最先端のレート・歪み性能を達成すること。
• タスク固有の目的関数に最適化された品質マップにより、後続タスク（例：分類、テキスト認識）に重要な画像コンテンツを保持すること。

提案手法

• 歪みの重み付けに使用する、実数値で連続的な品質マップを用いて画像圧縮ネットワークを条件づける。この品質マップは画素単位の重要度を指定する。
• 空間的適応型特徴変換（SFT）層を採用し、品質マップに応じて特徴マップを変調することで、画素単位のレート適応を実現する。
• 品質マップを空間的に変化する重みとして組み込んだレート・歪み損失関数を用いてネットワークを訓練する。この損失関数は平均二乗誤差（MSE）歪みに重みを付ける。
• バックプロパゲーションを用いて推論時にタスクに適応した品質マップを最適化し、事前学習済みのタスクモデル（例：VGG16）のガイダンスを活用する。
• 複数の独立した訓練が必要ない1つのエンドツーエンドで学習可能なモデルを用いて、広範な圧縮レートをカバーする。
• 微調整を伴わず、エンコード段階に品質マップ最適化を統合することで、高速かつリアルタイムでの適応が可能になる。

実験結果

リサーチクエスチョン

• RQ1 連続的で画素単位の品質マップを用いることで、1つの深層圧縮モデルが広範な圧縮レート範囲で高い性能を達成できるか？
• RQ2 圧縮モデルの再訓練なしに推論時にタスクに適応した品質マップを生成でき、かつ後続タスクのパフォーマンスが向上するか？
• RQ3 本手法は、複数の固定レートモデルと比較して、レート・歪み性能およびタスク固有の精度においてどのように差をつけるか？
• RQ4 SFTによる空間的適応性は、均一またはパッチ単位の圧縮と比較して、注目領域の再構成品質をどの程度向上させるか？
• RQ5 本フレームワークに自己回帰的文脈モデルが存在しないことで性能が制限され、そのようなコンponentsを追加することで向上するか？

主な発見

• 自己回帰的文脈モデルを用いないにもかかわらず、M&S や M&S+Context といった単一レートモデルよりも、レート・歪み性能で優れた性能を発揮した。
• 複雑な文脈モデリングを備えた最先端手法と同等またはそれ以上の性能を達成しながら、より柔軟で効率的である。
• 推論時にタスクに適応した品質マップを最適化することで、均一な品質マップと比較して画像分類精度が最大12.5%向上し、TitanXp GPUで1秒未満の推論コストで実現した。
• Grad-CAM や手動で定義されたテキストROIに基づくガイダンスがあると、低ビットレートでも均一圧縮よりもテキスト領域をよりよく保持した。
• アブレーションスタディにより、元の画像を品質マップ生成器の入力として使用する「ソース条件付け」が、特に空間的適応性において顕著に性能向上をもたらすことが確認された。
• 多様な品質マップにおいても高いMS-SSIMおよびPSNRスコアを維持し、BPG や M&S Hyperprior と比較して、テクスチャの保持が優れていた。