[論文レビュー] AIM 2024 Challenge on Video Super-Resolution Quality Assessment: Methods and Results

Иван Молодецких, A. Borisov+25 more|arXiv (Cornell University)|Oct 5, 2024

Image and Video Quality Assessment被引用数 7

ひとこと要約

この論文は AIM 2024 チャレンジにおけるノーリファレンスのビデオ SR 品質評価指標をベンチマークし、52 の SR 手法でアップスケールされた1124 本のビデオのデータセットを導入し、トップパフォーマンスのNR QA アプローチを報告します。

ABSTRACT

This paper presents the Video Super-Resolution (SR) Quality Assessment (QA) Challenge that was part of the Advances in Image Manipulation (AIM) workshop, held in conjunction with ECCV 2024. The task of this challenge was to develop an objective QA method for videos upscaled 2x and 4x by modern image- and video-SR algorithms. QA methods were evaluated by comparing their output with aggregate subjective scores collected from >150,000 pairwise votes obtained through crowd-sourced comparisons across 52 SR methods and 1124 upscaled videos. The goal was to advance the state-of-the-art in SR QA, which had proven to be a challenging problem with limited applicability of traditional QA methods. The challenge had 29 registered participants, and 5 teams had submitted their final results, all outperforming the current state-of-the-art. All data, including the private test subset, has been made publicly available on the challenge homepage at https://challenges.videoprocessing.ai/challenges/super-resolution-metrics-challenge.html

研究の動機と目的

• ノーリファレンスのビデオ超解像品質評価指標の動機づけと進展。
• SR出力の真の主観的ランクを含む多様で挑戦的なデータセットを提供する。
• 複数のSRモデルと難易度に跨って、提出された NR QA 手法を評価する。
• 公正な比較を促進し、 SR QA の効果的な特徴量セットとアーキテクチャを特定する。

提案手法

• Easy, Medium, Hard の3つの難易度で、52 の SR 法からアップスケールされた 1124 本のビデオクリップのデータセットを作成する。
• Crowd-sourced のペアワイズ比較を通じて真の主観的ランクを収集し、総投票数は >150,000 に達し、Bradley–Terry モデルで集約する。
• 予測スコアと真の主観的ランクとの間の Spearman 相関を用いて提出物を評価し、各難易度レベル内のビデオで平均化する。
• Final score を Easy、Medium、Hard の相関の重み付き結合として計算し、ランキングのために public と private のテストセット結果を結合する。
• 参加者は、 per-frame および inter-frame Features の組み合わせと SlowFast、Swin Transformer バックボーン、マルチモーダル Features などのターゲットアーキテクチャを用いて、ノーリファ QA 指標を開発した。

(a) Easy Sample Clip

実験結果

リサーチクエスチョン

• RQ1 多様な SR メソッドにわたって、SR 処理ビデオの主観的品質と現在の no-reference video QA 指標はどれだけ相関するか？
• RQ2 NR QA モデルは、従来のフレームベース指標よりも、異なるコンテンツタイプやSR アーティファクトパターンに一般化できるか？
• RQ3 SR QA に対して人間の判断と最も強い相関を生み出すアーキテクチャの選択と特徴量セットは何か？
• RQ4 フレームレベルとフレーム間の特徴を組み合わせると、難易度レベルを跨いで SR QA の性能が向上するか？

主な発見

チーム	タイプ	Easy	Medium	Hard	Private Score	Public Score	Final Score
QA-FTE	NR Video	0.8595	0.9323	0.7965	0.8575	0.8661	0.8604
TVQA-SR	NR Video	0.8741	0.9115	0.7738	0.8448	0.8907	0.8601
SJTU MMLab	NR Video	0.9044	0.9255	0.7239	0.8362	0.8906	0.8543
Wink	NR Video	0.8600	0.8986	0.6885	0.8014	0.8864	0.8297
sv-srcb-lab	NR Video	0.8758	0.9014	0.7769	0.8432	0.7926	0.8263
PieAPP [36] (baseline)	FR Image	0.8471	0.8820	0.7120	0.8025	0.6971	0.7674
Q-Align [51] (baseline)	NR Image	0.8864	0.8456	0.6770	0.7855	0.7028	0.7580

• 5 件の最終提出のすべてが、public test set で baselines（画像には PieAPP、Q-Align で）を上回った。
• QA-FTE が private および総合の challenge 結果のトップ全体スコアを獲得。
• NR-video 指標の中で public-set での最高パフォーマンスは TVQA-SR と SJTU MMLab が観測された。
• ノーリファレンス手法が提出の大部分を占め、per-frame および inter-frame features を活用（例: SlowFast、Fast-VQA、Q-Align、そして大型のマルチモーダルモデル）。
• 難易度レベルの違いにより識別性が異なり、Hard ケースが主観的な真値との相関で最も難しかった。
• 結合済みの最終スコアは重み付けスキームを用いて: Final = (Public + 2*Private)/3、ビデオごとの相関は Easy/Medium/Hard で 0.3, 0.4, 0.5 の重みで平均化した。

(b) Medium Sample Clip