[論文レビュー] Blindly Assess Quality of In-the-Wild Videos via Quality-aware Pre-training and Motion Perception

Bowen Li, Weixia Zhang+3 more|arXiv (Cornell University)|Aug 19, 2021

Image and Video Quality Assessment被引用数 4

ひとこと要約

本論文は、画像品質評価（IQA）データベースにおける品質に配慮した事前学習と、アクション認識モデルからの動きの知覚を活用することで、補完的な空間時間的特徴を学習する盲目的動画品質評価（BVQA）手法を提案する。これらの特徴表現を組み合わせ、混合リストワイズランク損失を用いることで、6つの実環境VQAベンチマークで最先端の性能を達成し、特にGPUによる高速化が施された場合に顕著な汎用性と効率性を示している。

ABSTRACT

Perceptual quality assessment of the videos acquired in the wilds is of vital importance for quality assurance of video services. The inaccessibility of reference videos with pristine quality and the complexity of authentic distortions pose great challenges for this kind of blind video quality assessment (BVQA) task. Although model-based transfer learning is an effective and efficient paradigm for the BVQA task, it remains to be a challenge to explore what and how to bridge the domain shifts for better video representation. In this work, we propose to transfer knowledge from image quality assessment (IQA) databases with authentic distortions and large-scale action recognition with rich motion patterns. We rely on both groups of data to learn the feature extractor. We train the proposed model on the target VQA databases using a mixed list-wise ranking loss function. Extensive experiments on six databases demonstrate that our method performs very competitively under both individual database and mixed database training settings. We also verify the rationality of each component of the proposed method and explore a simple manner for further improvement.

研究の動機と目的

• 真正なリファレンスが利用できない、歪みが多様かつ現実的である実環境における盲目的動画品質評価の課題に対処すること。
• IQAデータベースにおける品質に配慮した事前学習を用いることで、ソース（例：画像分類）とターゲット（実環境VQA）のドメインギャップを低減すること。
• 事前学習済み3次元アクション認識モデルからの動きの知覚を統合することで、動画表現を強化すること。
• PLCCとSRCCを同時に最適化する混合リストワイズランク損失関数を用いて、汎用性と性能を向上させること。
• 特に高解像度の動画においても、実世界への展開に適した高い効率性とスケーラビリティを達成すること。

提案手法

• 人間がアノテートした品質スコアを有する複数のIQAデータベース上でフレームレベルの特徴抽出器を事前学習させ、知覚的に意味のある空間的特徴を学習する。
• アクション認識データセットで事前学習済みの3次元畳み込みニューラルネットワーク（例：I3D）を用い、動きに敏感な空間時間的特徴を抽出する。
• 品質に配慮した空間的特徴と動き特徴を、連結またはアテンション機構を用いて統合し、包括的な動画表現を形成する。
• ピアソン線形相関係数（PLCC）とスピアマン順位相関（SRCC）の両目的を組み合わせた混合リストワイズランク損失を用いて、全体のBVQAモデルを訓練する。
• ソース（IQAおよびアクション認識）とターゲット（実環境VQA）のドメイン間ギャップを埋めるために、モデルベースのトランスファー学習を適用する。
• ターゲットVQAデータベース上でエンドツーエンドのファインチューニングを実施し、本物の歪みに効果的に適応できるようにする。

実験結果

リサーチクエスチョン

• RQ1 IQAデータベースにおける品質に配慮した事前学習が、実環境の盲目的動画品質評価のための特徴表現を向上させることができるか？
• RQ2 アクション認識モデルからの動きの知覚を統合することで、本物の歪みに対してBVQAモデルの性能が向上するか？
• RQ3 混合リストワイズランク損失は、多様なVQAデータベースにわたる人間の評価スコアとの相関を向上させるのにどの程度効果的か？
• RQ4 提案手法は、個別および混合の学習設定下で、複数の実環境VQAデータベースにわたってどの程度汎用性を示すか？
• RQ5 GPUアクセラレーションを用いた場合、特に解像度が高くなるに従って、提案手法の計算効率はどのようにスケーリングするか？

主な発見

• 提案手法は6つのベンチマーク実環境VQAデータベースで最先端の性能を達成し、すべてのデータセットで一貫して高いSRCCおよびPLCC値を示した。
• モデルは優れた汎用性を示し、個別データベースおよび混合データベースの学習設定の両方で競争力のある性能を発揮した。
• 品質に配慮した事前学習と動きの知覚の統合により、空間的特徴のみを用いるモデルや標準的なImageNet事前学習を用いるモデルと比較して顕著な性能向上が達成された。
• 混合リストワイズランク損失関数により、人間の評価スコアとの線形相関と順位相関の両方を同時に最適化することで、性能がさらに向上した。
• GPUアクセラレーションによる推論では、2160p解像度でTLVQMに比べ最大16倍の高速化が達成され、解像度に伴うスケーラビリティが顕著に向上した。
• CPU上でも高い精度を維持しているが、特に高解像度ではGPUアクセラレーションにより顕著な効率性の優位性が得られた。