[論文レビュー] Boosting the Performance of Video Compression Artifact Reduction with Reference Frame Proposals and Frequency Domain Information

Yi Xu, Minyi Zhao+5 more|arXiv (Cornell University)|May 31, 2021

Advanced Image Processing Techniques参考文献 37被引用数 4

ひとこと要約

本論文は、マルチフレーム動画圧縮アーティファクト低減を向上させるために、リファレンスフレームプロポーザル（RFP）戦略とFFTベースの損失関数を提案する。最適なリファレンスフレームの選定と周波数ドメインにおける詳細の監視により、忠実度と知覚的品質が向上し、MFQE 2.0およびNTIRE 2021でSOTAの結果を達成した。

ABSTRACT

Many deep learning based video compression artifact removal algorithms have been proposed to recover high-quality videos from low-quality compressed videos. Recently, methods were proposed to mine spatiotemporal information via utilizing multiple neighboring frames as reference frames. However, these post-processing methods take advantage of adjacent frames directly, but neglect the information of the video itself, which can be exploited. In this paper, we propose an effective reference frame proposal strategy to boost the performance of the existing multi-frame approaches. Besides, we introduce a loss based on fast Fourier transformation~(FFT) to further improve the effectiveness of restoration. Experimental results show that our method achieves better fidelity and perceptual performance on MFQE 2.0 dataset than the state-of-the-art methods. And our method won Track 1 and Track 2, and was ranked the 2nd in Track 3 of NTIRE 2021 Quality enhancement of heavily compressed videos Challenge.

研究の動機と目的

• 既存のマルチフレーム手法が隣接フレームに依存する一方で、動画全体の時間的文脈を十分に活用していないという限界に対処する。
• 隣接する圧縮フレームから最も情報量の多いリファレンスフレームを特定する戦略を提案することで、復元品質を向上させる。
• 深層学習ベースの動画強化において過剰に平滑化されたり高周波数成分が消失するのを防ぐために、周波数ドメインにおける監視信号を導入する。
• 計算コストを著しく増加させることなく、アーキテクチャの改善とアンサンブル技術を用いてモデル性能を向上させる。

提案手法

• ターゲットフレームに対する関連性に基づいて、隣接する圧縮フレームから最適なリファレンスフレームを選択するリファレンスフレームプロポーザル（RFP）戦略を提案する。
• 既存のマルチフレーム手法（例：STDF）にRFP戦略をインクリメンタルモジュールとして統合し、アーキテクチャの大規模な見直しを伴わずに性能を向上させる。
• 高速フーリエ変換（FFT）に基づく損失関数を導入し、周波数ドメインで高周波数成分の回復を監視する。
• 空間ドメインのL1損失と周波数ドメインのFFT損失を組み合わせることで、ピクセル単位の精度とスペクトル忠実度の両方を最適化する。
• 特徴量を拡張したAda-WDSR-Aブロックを基盤とする、より深い品質強化（QE）モジュールを採用し、表現能力を向上させる。
• 自己アンサンブルとゲート付き融合戦略を適用する：自己アンサンブルはデータ拡張と複数回の順伝播の平均化を用い、ゲート付き融合は公式データおよび追加データ（BiliTube4k）で学習したモデルの予測を学習可能なマスクで統合する。

Figure 1: Examples of high-frequency recovery. These visual cases are compressed frame (top left), prediction of STDF (top right), prediction of a model trained with $L1$ + FFT loss ( ours ) (bottom left), and the ground truth (bottom right).

実験結果

リサーチクエスチョン

• RQ1 隣接フレームよりも情報量の多いフレームを選択することで、リファレンスフレームプロポーザル戦略が既存のマルチフレーム動画圧縮アーティファクト低減手法の性能を向上させることができるか？
• RQ2 FFT損失による周波数ドメインの監視を組み込むことで、標準的なL1損失と比較して過剰な平滑化を軽減し、高周波数成分をより効果的に回復できるか？
• RQ3 アーキテクチャの深さとアンサンブル技術（自己アンサンブル、ゲート付き融合）を組み合わせることで、未知のデータに対するモデルの汎化能力と性能はどの程度向上するか？
• RQ4 ベンチマークデータセットにおける忠実度と知覚的品質の観点から、提案手法のRFPとFFT損失はSOTA手法と比較してどのように優れているか？

主な発見

• STDFに適用した場合、提案されたRFP戦略は隣接フレームを直接使用する場合に比べて顕著な性能向上を示した。
• FFTベースの損失は過剰な平滑化を効果的に低減し、細かいテクスチャーや高周波数成分の回復が図られ、図1で視覚的に確認された。
• RFPとFFT損失を組み合わせることで、PSNRとLPIPSの両方で顕著な向上が得られ、相乗効果が確認された。
• MFQE 2.0データセットでは、PSNRとLPIPSの両方で最高スコアを記録し、SOTA手法を上回った。
• 本手法はNTIRE 2021コンテストの動画圧縮品質強化（Heavily Compressed Videos）のトラック1およびトラック2で優勝し、トラック3でも2位を獲得した。
• より深いIQEモジュール、自己アンサンブル、ゲート付き融合の適用により、性能がさらに向上した。特に自己アンサンブルは検証セットでPSNRを0.12 dB向上させた。

Figure 2: The framework of our method.