[論文レビュー] NTIRE 2021 Challenge on Quality Enhancement of Compressed Video: Methods and Results

Ren Yang, Radu Timofte+70 more|arXiv (Cornell University)|Apr 21, 2021

Advanced Image Processing Techniques参考文献 66被引用数 4

ひとこと要約

本論文は、圧縮動画品質向上を目的としたNTIRE 2021チャレンジを提示し、大規模で多様な動画（LDV）データセットを導入し、3つのトラックで合計482件の提出物を評価した。トラック1と3は固定QPにおける忠実度向上を、トラック2は固定ビットレートにおける知覚的品質向上を目的としている。最先端の結果は、ゲート付き融合、可変畳み込み、マルチスケールアテンション機構を組み合わせた空間時間的ネットワークを用いて達成され、上位チームはPSNRを最大38.31 dBまで向上させ、MS-SSIMは0.956を超えた。

ABSTRACT

This paper reviews the first NTIRE challenge on quality enhancement of compressed video, with a focus on the proposed methods and results. In this challenge, the new Large-scale Diverse Video (LDV) dataset is employed. The challenge has three tracks. Tracks 1 and 2 aim at enhancing the videos compressed by HEVC at a fixed QP, while Track 3 is designed for enhancing the videos compressed by x265 at a fixed bit-rate. Besides, the quality enhancement of Tracks 1 and 3 targets at improving the fidelity (PSNR), and Track 2 targets at enhancing the perceptual quality. The three tracks totally attract 482 registrations. In the test phase, 12 teams, 8 teams and 11 teams submitted the final results of Tracks 1, 2 and 3, respectively. The proposed methods and solutions gauge the state-of-the-art of video quality enhancement. The homepage of the challenge: https://github.com/RenYang-home/NTIRE21_VEnh

研究の動機と目的

• 大規模かつ多様な動画データセットを用いて、多様な圧縮条件下での動画品質向上のベンチマークを確立すること。
• 圧縮動画における忠実度（PSNR）と知覚的品質の両方を向上させる手法を評価すること。
• 固定QPおよび固定ビットレートの圧縮設定における最先端のアプローチを比較すること。
• 動画修復研究における新しく導入された大規模多様動画（LDV）データセットの活用を促進すること。
• 統一的で多様かつ挑戦的なテストセットを用いた標準化された評価を可能にすることで、分野の前進を図ること。

提案手法

• 3トラックのチャレンジフレームワークを提案：トラック1と3はそれぞれ固定QPおよび固定ビットレートにおける忠実度向上を目的とし、トラック2は知覚的品質向上を目的としている。
• 10のシーンカテゴリにまたがる240本の動画を含む大規模多様動画（LDV）データセットを採用。動画には動き、フレームレート、照明、カメラの安定性の変動が含まれる。
• 空間的および時間的相関を効果的に活用するため、ゲート付き融合機構を備えた空間時間的畳み込みネットワークを用いた。
• 可変畳み込みとマルチスケール特徴抽出を統合し、動きおよび圧縮アーチファクトの処理を改善した。
• 訓練の安定性と一般化性能を向上させるために、段階的アライメントおよびデータ拡張技術を適用した。
• 3次元畳み込みおよびU-Netベースのアーキテクチャを用いて、複数フレームの残差学習と特徴の精錬を実現した。

実験結果

リサーチクエスチョン

• RQ1 空間時間的ディープラーニングモデルは、高い忠実度と知覚的品質で圧縮動画を復元するのにどの程度効果的か？
• RQ2 マルチスケールおよびアテンションベースのアーキテクチャは、圧縮動画におけるアーチファクト抑制をどの程度向上できるか？
• RQ3 LDVデータセットに含まれるコンテンツ、動き、フレームレートの多様性が、モデルの一般化性能および性能に与える影響は何か？
• RQ4 ゲート付き融合、可変畳み込み、3次元畳み込みなどの異なるネットワーク設計の動画品質向上における相対的性能はいかがなっているか？
• RQ5 統一されたモデルは、固定QPおよび固定ビットレートの圧縮シナリオの両方で一般化可能か？

主な発見

• トラック1（固定QPにおける忠実度向上）で最良の結果を出した手法は、PSNRが38.31 dBに達し、ベースライン手法を著しく上回った。
• トラック2（知覚的品質向上）では、最高の手法がMS-SSIM 0.9562を達成し、元の動画との高い知覚的類似性を示した。
• トラック3（固定ビットレート）では、複数の上位チームがPSNR 35 dBを超える高い性能を示し、ビットレート制約下での復元効果を実証した。
• ゲート付き融合および可変畳み込みによる時間的モデリングを用いた手法は、標準的な動画スーパーレゾリューションベースラインを常に上回った。
• LDVデータセットは、モデルの一般化性能を評価するのに有効であった。上位モデルは、多様な動画カテゴリで高い性能を達成した。
• チャレンジの結果、知覚的品質向上（トラック2）には忠実度ベースの向上とは異なるアーキテクチャ的選択が求められ、アテンション機構が重要な役割を果たしたことが明らかになった。