[論文レビュー] Exploring Video Quality Assessment on User Generated Contents from Aesthetic and Technical Perspectives

Haoning Wu, Zhang, Erli+7 more|arXiv (Cornell University)|Nov 9, 2022

Image and Video Quality Assessment被引用数 5

ひとこと要約

本論文は、ユーザー生成コンテンツ（UGC）向けの最初の目的的動画品質評価モデルである DOVER および DOVER++ を提案する。これらは、美的品質と技術的品質の認識を明示的に分離する。450Kのマルチパーソンクオリティ評価を含む新しい大規模データセット（DIVIDE-3k）を活用し、パーソンスペック固有のインダクティブバイアスを備えたデュアルブランチアーキテクチャと、主観的フィードバックにインspiredされた融合手法を採用することで、美的品質および技術的品質の分離された信頼性の高い評価を実現。性能は従来手法を大きく上回り、最先端の性能を達成した。

ABSTRACT

The rapid increase in user-generated-content (UGC) videos calls for the development of effective video quality assessment (VQA) algorithms. However, the objective of the UGC-VQA problem is still ambiguous and can be viewed from two perspectives: the technical perspective, measuring the perception of distortions; and the aesthetic perspective, which relates to preference and recommendation on contents. To understand how these two perspectives affect overall subjective opinions in UGC-VQA, we conduct a large-scale subjective study to collect human quality opinions on overall quality of videos as well as perceptions from aesthetic and technical perspectives. The collected Disentangled Video Quality Database (DIVIDE-3k) confirms that human quality opinions on UGC videos are universally and inevitably affected by both aesthetic and technical perspectives. In light of this, we propose the Disentangled Objective Video Quality Evaluator (DOVER) to learn the quality of UGC videos based on the two perspectives. The DOVER proves state-of-the-art performance in UGC-VQA under very high efficiency. With perspective opinions in DIVIDE-3k, we further propose DOVER++, the first approach to provide reliable clear-cut quality evaluations from a single aesthetic or technical perspective. Code at https://github.com/VQAssessment/DOVER.

研究の動機と目的

• ユーザー生成コンテンツ（UGC）動画における、美的および技術的視点が人間の品質認識にどのように統合的に影響を与えるかを調査すること。
• 全体の品質を単一スコアとして扱うのではなく、美的および技術的視点を考慮した目的的動画品質評価（VQA）手法を開発すること。
• 分離されたVQA研究を支援するため、両視点からの合計450Kの主観的品質評価を含む、新しいベンチマークデータセットDIVIDE-3kを構築すること。
• 個人差をモデル化することで、美的要因と技術的要因の相対的重みの違いを反映した、パーソナライズド品質評価を可能にすること。
• 美的または技術的要因のいずれかを独立して評価できる、最初の信頼性のある単一視点品質評価フレームワーク（DOVER++）を提供すること。

提案手法

• 視点固有の入力、正則化、事前学習戦略を設計することで、動画内の美的および技術的情報を分離するための「ビュー分解（View Decomposition）」戦略を提案する。
• 美的品質（例：コンテンツ、構図）に注目するブランチと、技術的品質（例：ぼやけ、アーチファクト）に注目するブランチを備えたデュアルブランチネットワークアーキテクチャを設計し、それぞれに特化したインダクティブバイアスを適用する。
• DIVIDE-3k データセットから得られた人間の重み付けパターンをもとに、主観的フィードバックにインspiredされた融合手法を用い、2ブランチの予測を統合して最終的な総合的品質スコアを生成する。
• DOVERの学習には、複数タスクの監督を用いる：既存のUGC-VQAデータセットからの全体的品質スコアと、DIVIDE-3kからの分離された美的／技術的スコア。
• DOVER++ を導入し、融合重みを動的に調整できるようにすることで、単一視点での品質評価を可能にし、パーソナライズドな品質予測を実現する。
• 美的・技術的スコアの直接MOSラベルがなくても、分離された品質予測を監視できる新しい損失項 $\mathcal{L}_{\mathrm{DS}}$ を導入する。

実験結果

リサーチクエスチョン

• RQ1 UGC 動画における人間の総合的品質評価は、美的および技術的視点がどの程度統合的に影響を与えるか？
• RQ2 深層学習モデルは、美的および技術的品質認識を効果的に分離することで、全体のVQA性能を向上させることができるか？
• RQ3 美的要因と技術的要因の相対的影響は個人差にどのように現れ、パーソナライズド品質評価のモデル化に利用できるか？
• RQ4 美的および技術的評価を明示的に監視することで、エンドツーエンドの監視のみに依存する場合と比較して、全体的品質予測の性能が向上するか？
• RQ5 1つのモデルが、美的または技術的品質のいずれかを独立して信頼性高く評価でき、特殊な用途に応用可能か？

主な発見

• DIVIDE-3k データセットに収録された450Kの主観的評価から、UGC 動画における人間の品質認識は、普遍的かつ必然的に美的および技術的視点の両方に影響を受けることが確認された。
• DOVER は、標準的なUGC-VQAベンチマークで最先端の性能を達成し、LSVQテストでSROCC 0.888、LSVQ 1080pで0.795、KoNViD-1kで0.884、LIVE-VQCで0.832を記録した。
• アブレーションスタディにより、ビュー分解戦略が不可欠であることが確認され、これを除去するとLSVQテストでのSROCCが0.859に低下し、2.9%の性能低下が生じた。
• DOVER++ は、美的／技術的スコアの直接MOSラベルがなくても、分離監視（$\mathcal{L}_{\mathrm{DS}}$）を組み込むことで、ベースライン手法を1%上回る性能を達成した。
• DOVER における主観的フィードバックにインspiredされた融合戦略は、単純な和集合融合や単一ブランチ予測を大きく上回り、モデルが人間の知覚メカニズムと整合していることを裏付けた。
• DOVER++ は、融合重みを適応的に調整することで、パーソナライズドな品質評価を可能にした。推論スタディから、異なる被験者グループが美的要因と技術的要因の重要性に異なる重みを置いていることが観察された。