[論文レビュー] HVS Revisited: A Comprehensive Video Quality Assessment Framework

Aoxiang Zhang, Yuan‐Gen Wang+3 more|arXiv (Cornell University)|Oct 9, 2022

Image and Video Quality Assessment被引用数 6

ひとこと要約

本稿では、分野融合アーキテクチャに、視覚的注目度、コンテンツ依存性、エッジマスキング、運動知覚、時間的ヒステリシスの5つの主要特徴を統合することで、人間視覚系（HVS）を再考したノーリファレンス動画品質評価フレームワークHVS-5Mを提案する。フレームワークは、空間的および時間的特徴を抽出・統合するためにSAMNet、ConvNeXt、SlowFast、TempHystを用い、複数のデータセットで最先端の性能を達成し、優れた汎化性とロバスト性を示す。

ABSTRACT

Video quality is a primary concern for video service providers. In recent years, the techniques of video quality assessment (VQA) based on deep convolutional neural networks (CNNs) have been developed rapidly. Although existing works attempt to introduce the knowledge of the human visual system (HVS) into VQA, there still exhibit limitations that prevent the full exploitation of HVS, including an incomplete model by few characteristics and insufficient connections among these characteristics. To overcome these limitations, this paper revisits HVS with five representative characteristics, and further reorganizes their connections. Based on the revisited HVS, a no-reference VQA framework called HVS-5M (NRVQA framework with five modules simulating HVS with five characteristics) is proposed. It works in a domain-fusion design paradigm with advanced network structures. On the side of the spatial domain, the visual saliency module applies SAMNet to obtain a saliency map. And then, the content-dependency and the edge masking modules respectively utilize ConvNeXt to extract the spatial features, which have been attentively weighted by the saliency map for the purpose of highlighting those regions that human beings may be interested in. On the other side of the temporal domain, to supplement the static spatial features, the motion perception module utilizes SlowFast to obtain the dynamic temporal features. Besides, the temporal hysteresis module applies TempHyst to simulate the memory mechanism of human beings, and comprehensively evaluates the quality score according to the fusion features from the spatial and temporal domains. Extensive experiments show that our HVS-5M outperforms the state-of-the-art VQA methods. Ablation studies are further conducted to verify the effectiveness of each module towards the proposed framework.

研究の動機と目的

• 既存の動画品質評価（VQA）手法が人間視覚系（HVS）を不完全にモデル化しており、その特徴との接続が不十分であるという限界を是正すること。
• エッジマスキングや強化された視覚的注目度といった未だ十分に活用されていないHVS特徴を統合することで、実世界の動画における性能を向上させること。
• 空間的および時間的特徴を効果的に統合する分野融合設計パラダイムを用いて、ロバストで汎化性の高いVQAフレームワークを開発すること。
• アブレーションスタディを通じて各モジュールの有効性を検証し、最先端の手法を上回るフレームワークの優位性を示すこと。

提案手法

• HVS-5Mフレームワークは、視覚的注目度、コンテンツ依存性、エッジマスキング、運動知覚、時間的ヒステリシスの5つの特徴を統合した再考されたHVSモデルに基づいている。
• 空間的ドメインでは、視覚的注目度がSAMNetを用いてモデル化され、その出力である注目度マップがConvNeXtを基盤とするコンテンツ依存性およびエッジマスキングモジュールの特徴に注意メカニズムを適用して重み付けされる。
• 時間的ドメインでは、運動知覚がSlowFastネットワークを用いて動的特徴を抽出することで捉えられ、時間的ヒステリシスはTempHystモジュールを用いて人間の記憶効果を模倣する。
• 空間的および時間的特徴が統合され、全結合層を通じて処理され、最終的な動画品質スコアが予測される。
• フレームワークは分野融合設計を採用しており、空間的および時間的表現の共同最適化を可能にし、品質推定の精度を向上させる。
• ConvNeXtやTempHystといった高度なアーキテクチャを統合することで、特徴表現および時間的モデリングの性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 複数の関連する特徴を統合することで、動画品質評価における人間視覚系（HVS）をどの程度包括的にモデル化できるか？
• RQ2 完全なリファレンスが存在しない状況下で、エッジマスキングおよび視覚的注目度が動画品質予測に果たす寄与度は何か？
• RQ3 時間的ヒステリシスの統合が、ノーリファレンスVQAモデルのロバスト性および正確性をどの程度向上させるか？
• RQ4 空間的および時間的特徴の分野融合設計が、多様な動画データセットにわたる汎化性をどの程度向上させるか？

主な発見

• HVS-5Mは、LIVE-VQC、KoNViD-1k、CVD2014を含む5つの主流の動画品質評価データセットで最先端の性能を達成した。
• アブレーションスタディの結果、視覚的注目度モジュールを無効化すると6つのデータセットのうち4つで性能が低下し、注目度ベースの特徴重み付けにおけるその重要性が確認された。
• エッジマスキングモジュールは顕著な貢献を示しており、無効化した場合に平均SRCCが2.5%低下した。これは、高コントラストまたはテクスチャが豊富な領域で特に重要であることを示している。
• TempHystモジュールを全結合ネットワークに置き換えると、KoNViD-1kでSRCCが16.6%低下した。これは、時間的記憶モデリングが正確な品質予測に不可欠であることを裏付けている。
• キーモジュールにおいてResNet-50をConvNeXtに置き換えた場合、平均SRCCが3.5%低下した。これは、本フレームワークにおいてConvNeXtが特徴抽出に優れていることを示している。
• カテゴリカル、クロスデータセット、ミックスドデータセット評価においても、フレームワークは強力な汎化性を示しており、分布シフトに対してもロバストであることが示された。