[論文レビュー] A QP-adaptive Mechanism for CNN-based Filter in Video Coding

Chao Liu, Heming Sun+3 more|arXiv (Cornell University)|Oct 25, 2020

Video Coding and Compression Technologies参考文献 21被引用数 4

ひとこと要約

本論文は、CNNベースの動画ループ内フィルタの畳み込みカーネルに直接、量子化ステップ（Qstep）を統合するQP適応型メカニズムを提案する。これにより、1つのモデルで複数の量子化パラメータ（QPs）に一般化可能となり、周波数ドメインで量子化ノイズをモデル化し、Qstepに応じて畳み込み演算を適応的にスケーリングするように変更することで、複数のQP特化モデルと同等の性能を達成するとともに、パラメータ数を75%削減し、クロマ成分で追加の0.2% BD-rateの向上を達成した。

ABSTRACT

Convolutional neural network (CNN)-based filters have achieved great success in video coding. However, in most previous works, individual models are needed for each quantization parameter (QP) band. This paper presents a generic method to help an arbitrary CNN-filter handle different quantization noise. We model the quantization noise problem and implement a feasible solution on CNN, which introduces the quantization step (Qstep) into the convolution. When the quantization noise increases, the ability of the CNN-filter to suppress noise improves accordingly. This method can be used directly to replace the (vanilla) convolution layer in any existing CNN-filters. By using only 25% of the parameters, the proposed method achieves better performance than using multiple models with VTM-6.3 anchor. Besides, an additional BD-rate reduction of 0.2% is achieved by our proposed method for chroma components.

研究の動機と目的

• 既存のCNNベースのループ内フィルタが各QP帯域ごとに別々のモデルを必要としているという制限を解消し、ストレージおよび計算コストの低減を図ること。
• 各QPごとの再トレーニングなしに、変動する量子化ノイズレベルにわたるCNNフィルタの一般化能力を向上させること。
• Qstepを畳み込み演算内での学習可能な入力要因として活用し、異なる歪みレベルに適応する能力を強化すること。
• 復号の複雑性を最小限に増加させることで、実用的導入を可能にすること。
• 最初のレイヤーでのQPマップのみに依存する従来のQP適応手法に比べ、Qstepをすべての畳み込みレイヤーに統合することで、性能を上回ること。

提案手法

• 量子化ノイズを周波数ドメインでモデル化し、Qstepが高くなるほどノイズエネルギーが増加することを定式化し、ノイズを適応的に抑制するQstepインジェクション型畳み込みカーネルを提案する。
• 標準的な畳み込み演算を、学習可能なスケーリング因子を介してQstepをカーネル重みに組み込むことで変更し、QPに応じた動的ノイズ抑制を可能にする。
• コアとなる式は、畳み込みにおいてQstepを乗算因子として導入する：$ \hat{\bm{x}} = \bm{w}(Q_{\text{step}}) \ast \bm{y} $、ここでカーネル$ \bm{w} $はQstepに依存する。
• Qstepの影響がネットワーク全体に伝わるよう、最初のレイヤーを除くすべての畳み込みレイヤーにこのメカニズムを適用し、耐性を高める。
• プラグアンドプレイであり、既存のCNNフィルタの任意のアーキテクチャに、アーキテクチャの変更なしに標準畳み込みレイヤーを置き換えることができる。
• VTM-6.3アンカーを用いて検証し、輝度成分でのみトレーニングを行い、輝度およびクロマ成分で評価した。

実験結果

リサーチクエスチョン

• RQ1 別々の再トレーニングなしに、1つのCNNベースのループ内フィルタが複数のQP値に効果的に一般化できるか？
• RQ2 Qstep情報を畳み込み演算に効果的に統合することで、異なるQPレベルでのノイズ抑制をどのように改善できるか？
• RQ3 最初のレイヤーでのQPマップ入力と比較して、畳み込みカーネルにQstepをインジェクションすることで性能が向上するか？
• RQ4 統一されたQP適応型モデルを用いる際、モデルの複雑さ、パラメータ数、レート・歪み性能のトレードオフはいかなるものか？
• RQ5 別々のQP特化モデルと同等の性能を達成しながら、パラメータ数と複雑さを削減できるか？

主な発見

• 提案手法は、各QP帯域に別々のモデルを用いる場合と比較して、パラメータ数を75%削減しながら、同等のBD-rate性能を達成した。
• クロマ成分で追加の0.2%のBD-rate低減を達成し、輝度成分でのみトレーニングした場合でも優れた一般化能力を示した。
• すべてのQP値で一貫した高い性能を維持し、低QPでは劣化が最小限に抑えられ、別々のモデルではトレーニング範囲外で性能が低下するのとは対照的だった。
• 最初のレイヤーでのQPマップ入力手法（Song et al. [20]）よりも耐性が高く、特に低QP（例：QP=22）では後者に負の利得が見られたのに対し、本手法は優れた性能を示した。
• グローバル手法と比較して復号の複雑性は約2%増加にとどまり、実用的導入にほとんどオーバーヘッドがないことを示した。
• 異なる複雑度の4種類のCNNフィルタアーキテクチャにおいても、強力な性能を維持した。これは、本手法の汎用性と一般化能力を裏付けた。