[論文レビュー] CBANet: Towards Complexity and Bitrate Adaptive Deep Image Compression using a Single Network

Jinyang Guo, Dong Xu+1 more|arXiv (Cornell University)|May 26, 2021

Advanced Data Compression Techniques参考文献 35被引用数 6

ひとこと要約

本稿では、さまざまなビットレートおよび計算複雑性に対応するための、1つのディープニューラルネットワークであるCBANetを提案する。マルチブランチの複雑性適応モジュールとビットレート適応プロジェクションモジュールを統合することで、再訓練を必要とせずに可変ビットレートの復号と動的複雑性制約をサポートし、追加のストレージコストをかけずに、先行手法よりも最大0.13 dBのPSNR向上を達成する。

ABSTRACT

In this paper, we propose a new deep image compression framework called Complexity and Bitrate Adaptive Network (CBANet), which aims to learn one single network to support variable bitrate coding under different computational complexity constraints. In contrast to the existing state-of-the-art learning based image compression frameworks that only consider the rate-distortion trade-off without introducing any constraint related to the computational complexity, our CBANet considers the trade-off between the rate and distortion under dynamic computational complexity constraints. Specifically, to decode the images with one single decoder under various computational complexity constraints, we propose a new multi-branch complexity adaptive module, in which each branch only takes a small portion of the computational budget of the decoder. The reconstructed images with different visual qualities can be readily generated by using different numbers of branches. Furthermore, to achieve variable bitrate decoding with one single decoder, we propose a bitrate adaptive module to project the representation from a base bitrate to the expected representation at a target bitrate for transmission. Then it will project the transmitted representation at the target bitrate back to that at the base bitrate for the decoding process. The proposed bit adaptive module can significantly reduce the storage requirement for deployment platforms. As a result, our CBANet enables one single codec to support multiple bitrate decoding under various computational complexity constraints. Comprehensive experiments on two benchmark datasets demonstrate the effectiveness of our CBANet for deep image compression.

研究の動機と目的

• 異なる計算予算と帯域幅制約を有する多様なプラットフォームに学習ベースの画像コーデックを展開する課題に対処すること。
• 複数のデコーダーを必要としないように、1つのモデルが複数のビットレートと計算複雑性レベルをサポートできるようにすること。
• 異なるビットレートや複雑性レベル用に複数のモデルを保存する必要を回避することで、実際の展開におけるストレージオーバーヘッドを削減すること。
• 1つの統合的ネットワークアーキテクチャ内で、レート・歪み・複雑性の最適化を統合的に実現すること。

提案手法

• 各ブランチが計算予算の小さな部分を占めるマルチブランチの複雑性適応モジュール（CAM）を導入し、アクティブ化されるブランチ数を変更することで可変な視覚的品質を実現する。
• ベースビットレートとターゲットビットレート間の表現を変換するために、小さなCNNを用いたビットレート適応モジュール（BAM）を採用する。
• 復号時にターゲットビットレートでの表現をベースビットレートに戻すことで、1つのデコーダーで全ビットレートで一貫した再構成を実現する。
• トレーニング中にレート・歪み・複雑性の最適化を統合することで、レート、歪み、計算コストをバランスさせる。
• ベースモデルを一度だけトレーニングし、BAMを再利用することで、新しいビットレートを最小限の追加トレーニングでサポートする。
• メインデコーダーのアーキテクチャを変更せずに、BAMを用いてビットレート間で表現を転送する。

実験結果

リサーチクエスチョン

• RQ1 1つのディープニューラルネットワークが、動的計算複雑性制約のもとで可変ビットレートの画像圧縮をサポートできるか？
• RQ2 再トレーニングや複数のモデルの保存をせずに、1つのデコーダーが複数のビットレートを処理できるか？
• RQ3 統一フレームワーク内でのレート、歪み、計算複雑性の性能トレードオフはいかなるものか？
• RQ4 軽量モジュールを用いて、品質およびストレージへの影響を最小限に抑えながら、ビットレート間で表現をプロジェクションできるか？

主な発見

• CBANet-AR-100%は、最高の計算複雑性レベルで、ベースライン手法[3]よりも0.13 dBのPSNR向上を達成した。
• CBANet-AR-50%は、計算コストを低減した状態で、ベースラインよりも0.10 dBのPSNR向上を達成した。
• ビットレート適応モジュール（BAM）は、合計FLOPsの0.42%しか占めず、計算オーバーヘッドが最小限であることが示された。
• CBANet-HP-25%は、300,000回のトレーニングイテレーション（全トレーニングの10分の1）で、学習から再構築した場合と同等の性能を達成した。
• BAMのおかげで、1つのベースモデルのみを保持すればよいことから、ストレージコストを無視できるほどに抑えられた。
• KodakおよびCLICデータセットにおける実験により、全ビットレートおよび複雑性レベルで一貫した性能向上が確認された。