[論文レビュー] UNQA: Unified No-Reference Quality Assessment for Audio, Image, Video, and Audio-Visual Content

Yuqin Cao, Xiongkuo Min+4 more|arXiv (Cornell University)|Jul 29, 2024

Infrastructure Maintenance and Monitoring被引用数 4

ひとこと要約

本稿では、音声、画像、動画、音声・映像コンテンツの4つのメディアタイプを一度に評価可能な、最初の統合的非参照品質評価モデルUNQAを提案する。マルチモダリティ学習戦略を用いて、異なるデータベース間の品質スケールのばらつきを補正することで、モデルの複雑さを低減しつつ、多様なメディアタイプに優れた汎化性能を達成した。

ABSTRACT

As multimedia data flourishes on the Internet, quality assessment (QA) of multimedia data becomes paramount for digital media applications. Since multimedia data includes multiple modalities including audio, image, video, and audio-visual (A/V) content, researchers have developed a range of QA methods to evaluate the quality of different modality data. While they exclusively focus on addressing the single modality QA issues, a unified QA model that can handle diverse media across multiple modalities is still missing, whereas the latter can better resemble human perception behaviour and also have a wider range of applications. In this paper, we propose the Unified No-reference Quality Assessment model (UNQA) for audio, image, video, and A/V content, which tries to train a single QA model across different media modalities. To tackle the issue of inconsistent quality scales among different QA databases, we develop a multi-modality strategy to jointly train UNQA on multiple QA databases. Based on the input modality, UNQA selectively extracts the spatial features, motion features, and audio features, and calculates a final quality score via the four corresponding modality regression modules. Compared with existing QA methods, UNQA has two advantages: 1) the multi-modality training strategy makes the QA model learn more general and robust quality-aware feature representation as evidenced by the superior performance of UNQA compared to state-of-the-art QA methods. 2) UNQA reduces the number of models required to assess multimedia data across different modalities. and is friendly to deploy to practical applications.

研究の動機と目的

• 複数のメディアモダリティを同時に評価可能な統合的品質評価モデルの欠如に取り組む。
• 異なるQAデータベース間で不一致となる知覚的品質スケール（例：[0,5] 対 [0,100]）の課題を克服する。
• 音声、画像、動画、音声・映像コンテンツのあらゆる分野に一般化可能な、1つのパラメータ効率の良いモデルを開発する。
• メディアが不完全またはマルチモーダルであるような実世界の応用において、より高い耐障害性と展開可能性を向上させる。

提案手法

• UNQAは、モダリティ固有の特徴抽出モジュール（画像には空間的、動画には運動的、音声には音声的）を備えた共有バックボーンを採用する。
• 空間的特徴抽出器でマルチヘッド自己注意機構を用い、知覚的に顕著な領域に注目を向ける。
• 独創的なマルチモダリティ学習戦略として、データベース固有の回帰ヘッドで特徴抽出器を事前学習し、その後、原始的なMOS値の代わりに相対順位損失を用いて、全モデルを微調整する。
• 各モダリティまたは統合されたA/Vスコアを予測するために、4つの専用の回帰ヘッドを用いてモダリティ固有の特徴を統合する。
• Grad-CAMを用いて注目マップを可視化し、UNQAが人間の知覚と一致する顔、テキスト、構造などの知覚的に顕著な領域に注目していることを確認した。
• 標準GPU上での計算効率の評価により、UNQAは競合する深層学習モデルよりも低い推論時間を達成した。

実験結果

リサーチクエスチョン

• RQ1 1つの統合モデルが、音声、画像、動画、音声・映像コンテンツの4つすべての分野で高精度な非参照評価を達成できるか？
• RQ2 複数のQAデータベース間で異なる知覚的品質スケールを、統合学習中に効果的に補正できるか？
• RQ3 複数のモダリティを同時に学習させることで、より耐障害性があり汎化性の高い品質認識特徴が得られるか？
• RQ4 統合モデルは、モダリティ固有の最先端モデルを上回りつつ、モデルの複雑さを低減できるか？

主な発見

• UNQAは4つのモダリティすべてで最先端の性能を達成し、画像QAではスピアマン順位相関係数（SRCC）0.8037、動画では0.8901、音声・映像では0.8791、音声では0.7962を記録した。
• 外部の7つのQAデータセットにおけるクロスデータベース評価では、UNQAは20の最先端手法を上回り、未学習のデータベースに対しても良好な汎化性能を示した。
• UNQAは優れた計算効率を示し、標準的な1080p、25fpsの動画処理において、比較対象のすべてのモデルの中で最も短い実行時間を記録した。
• Grad-CAMを用いた可視化分析により、UNQAが顔、テキスト、建物など知覚的に顕著な領域に注目していることが確認され、人間の知覚と一致した。
• マルチモダリティ学習戦略により、MOS値の再サンプリングや再重み付けを一切行わずに、データベース間のスケール差を効果的に是正できた。
• UNQAにより、1モダリティあたり1つのモデルを必要としていたのを、1つの統合モデルに削減し、実世界のシステムにおける展開性が向上した。