[論文レビュー] Selective compression learning of latent representations for variable-rate image compression

Jooyoung Lee, Seyoon Jeong+1 more|arXiv (Cornell University)|Nov 8, 2022

Advanced Image and Video Retrieval Techniques被引用数 9

ひとこと要約

本稿では、コンテンツ依存的な重要度マップと品質適応型調整曲線に基づき、エンタロピー符号化に適した潜在表現要素を動的に選択する、軽量でエンド・ツー・エンドで学習可能なニューラルネットワークベースの可変レート画像符号化手法「選択的表現圧縮」（SCR）を提案する。本手法は、追加のモデル複雑性を最小限に抑えつつ、別々に訓練されたモデルと同等の符号化効率を達成し、補間を用いた連続ビットレート制御を可能にするとともに、復号時間を最大25.71%短縮する。

ABSTRACT

Recently, many neural network-based image compression methods have shown promising results superior to the existing tool-based conventional codecs. However, most of them are often trained as separate models for different target bit rates, thus increasing the model complexity. Therefore, several studies have been conducted for learned compression that supports variable rates with single models, but they require additional network modules, layers, or inputs that often lead to complexity overhead, or do not provide sufficient coding efficiency. In this paper, we firstly propose a selective compression method that partially encodes the latent representations in a fully generalized manner for deep learning-based variable-rate image compression. The proposed method adaptively determines essential representation elements for compression of different target quality levels. For this, we first generate a 3D importance map as the nature of input content to represent the underlying importance of the representation elements. The 3D importance map is then adjusted for different target quality levels using importance adjustment curves. The adjusted 3D importance map is finally converted into a 3D binary mask to determine the essential representation elements for compression. The proposed method can be easily integrated with the existing compression models with a negligible amount of overhead increase. Our method can also enable continuously variable-rate compression via simple interpolation of the importance adjustment curves among different quality levels. The extensive experimental results show that the proposed method can achieve comparable compression efficiency as those of the separately trained reference compression models and can reduce decoding time owing to the selective compression. The sample codes are publicly available at https://github.com/JooyoungLeeETRI/SCR.

研究の動機と目的

• 各ターゲットビットレートに対して別々に訓練が必要な従来の学習済み画像符号化手法の高いモデル複雑性に対処すること。
• 追加のネットワークモジュールやレイヤーを避けることで、可変レート符号化における計算およびメモリオーバーヘッドを低減すること。
• 再訓練を伴わずに、重要度調整曲線の補間を用いて連続ビットレート符号化を実現すること。
• 潜在表現の選択的エンタロピー符号化により、符号化効率を維持または向上させつつ、復号時間を顕著に短縮すること。
• 既存の符号化アーキテクチャと互換性があり、最小限のアーキテクチャ変更で統合可能なプラグアンドプレイソリューションを提供すること。

提案手法

• コンテンツ依存的な潜在表現要素の重要度を表す3次元重要度マップを、1×1畳み込み層を1つ用いて生成する。このマップはターゲット品質とは独立して計算される。
• 各ターゲット品質レベルに対して、学習されたチャネル別重要度調整曲線を用いて、3次元重要度マップを品質固有の優先順位に応じて調整する。
• 調整された重要度マップを丸め処理によりしきい値処理し、3次元バイナリマスクを生成する。このマスクが、どの潜在表現要素がエンタロピー符号化を受けるかを決定する。
• 重要度マップの生成と調整に、1×1畳み込みと各品質レベルごとの少数の曲線を追加するのみで、既存モデルとスムーズに統合可能である。
• 推論時において、離散的品質レベル間の重要度調整曲線を補間することで、連続ビットレートサポートを実現する。
• システム全体をエンド・ツー・エンドで学習し、選択的圧縮と適応的量子化のコンponentを同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルネットワークモデルが、モデル複雑性を増加させることなく、別々に訓練されたモデルと同等の符号化効率を達成できるか。
• RQ2 潜在表現の選択的圧縮を、さまざまなターゲット品質レベルに適応させつつ、高い符号化効率を維持できるか。
• RQ3 学習された曲線の補間を用いて、再訓練を伴わず連続ビットレート符号化を実現できるか。
• RQ4 選択的圧縮が復号時間に与える影響は何か。また、既存の軽量可変レート手法を上回る速度性能を示せるか。
• RQ5 本手法が引き起こす追加のモデルオーバーヘッドはどの程度か。また、既存の符号化フレームワークに対して、プラグアンドプレイとしての適用が可能か。

主な発見

• HyperpriorモデルとMean-scaleモデルのそれぞれにおいて、選択的圧縮を含まないバージョンと比較して、平均して復号時間を11.28%および8.32%短縮した。
• Context-basedモデルでは、非選択的バージョンと比較して25.71%、q=8.0の基準モデルと比較して21.53%の復号時間短縮を達成した。
• PSNRおよびBD-rateの指標で測定したところ、すべてのターゲット品質レベルで別々に訓練された基準モデルと同等の符号化効率を達成した。
• Hyperpriorモデルではモデルパラメータがたった0.59%（0.26 MB）増加したが、Mean-scaleおよびContextモデルでも同様に最小限のオーバーヘッドにとどまった。
• 離散的品質レベル間の重要度調整曲線の非線形補間により、安定した連続ビットレート符号化が可能となった。
• 符号化時間も選択的処理のおかげで顕著に短縮された。詳細は補足資料に報告済み。