[论文解读] HVS Revisited: A Comprehensive Video Quality Assessment Framework

Aoxiang Zhang, Yuan‐Gen Wang+3 more|arXiv (Cornell University)|Oct 9, 2022

Image and Video Quality Assessment被引用 6

一句话总结

该论文提出HVS-5M，一种无参考视频质量评估框架，通过在领域融合架构中整合视觉显著性、内容依赖性、边缘遮蔽、运动感知和时间滞后性五个关键特征，重新审视了人类视觉系统（HVS）。该框架利用SAMNet、ConvNeXt、SlowFast和TempHyst提取并融合空间与时间特征，在多个数据集上实现了最先进性能，展现出卓越的泛化能力和鲁棒性。

ABSTRACT

Video quality is a primary concern for video service providers. In recent years, the techniques of video quality assessment (VQA) based on deep convolutional neural networks (CNNs) have been developed rapidly. Although existing works attempt to introduce the knowledge of the human visual system (HVS) into VQA, there still exhibit limitations that prevent the full exploitation of HVS, including an incomplete model by few characteristics and insufficient connections among these characteristics. To overcome these limitations, this paper revisits HVS with five representative characteristics, and further reorganizes their connections. Based on the revisited HVS, a no-reference VQA framework called HVS-5M (NRVQA framework with five modules simulating HVS with five characteristics) is proposed. It works in a domain-fusion design paradigm with advanced network structures. On the side of the spatial domain, the visual saliency module applies SAMNet to obtain a saliency map. And then, the content-dependency and the edge masking modules respectively utilize ConvNeXt to extract the spatial features, which have been attentively weighted by the saliency map for the purpose of highlighting those regions that human beings may be interested in. On the other side of the temporal domain, to supplement the static spatial features, the motion perception module utilizes SlowFast to obtain the dynamic temporal features. Besides, the temporal hysteresis module applies TempHyst to simulate the memory mechanism of human beings, and comprehensively evaluates the quality score according to the fusion features from the spatial and temporal domains. Extensive experiments show that our HVS-5M outperforms the state-of-the-art VQA methods. Ablation studies are further conducted to verify the effectiveness of each module towards the proposed framework.

研究动机与目标

• 为解决现有视频质量评估（VQA）方法在不完整建模人类视觉系统（HVS）及其特性之间关联性方面存在的局限性。
• 通过整合边缘遮蔽和增强视觉显著性等未充分探索的HVS特征，提升在真实场景视频上的性能。
• 开发一种鲁棒且可泛化的VQA框架，通过领域融合设计范式，有效融合空间与时间特征。
• 通过消融研究验证各组件的有效性，并证明该框架在性能上优于当前最先进方法。

提出的方法

• HVS-5M框架基于重新审视的HVS模型，整合了五项特征：视觉显著性、内容依赖性、边缘遮蔽、运动感知和时间滞后性。
• 在空间域中，视觉显著性通过SAMNet建模，生成显著性图，用于注意力加权ConvNeXt-based的内容依赖性和边缘遮蔽模块的特征。
• 在时间域中，运动感知通过SlowFast网络捕获，以提取动态特征，而时间滞后性则通过TempHyst模块建模，以模拟人类记忆效应。
• 空间与时间特征被融合并经过全连接层处理，以预测最终的视频质量得分。
• 该框架采用领域融合设计，实现空间与时间表征的联合优化，以提升质量估计性能。
• 先进架构如ConvNeXt和TempHyst被集成，以增强特征表示与时间建模能力。

实验结果

研究问题

• RQ1 如何通过整合多个相互关联的特征，更全面地在视频质量评估中建模人类视觉系统（HVS）？
• RQ2 在缺乏原始参考的情况下，边缘遮蔽与视觉显著性对视频质量预测的贡献是什么？
• RQ3 时间滞后性的整合如何提升无参考VQA模型的鲁棒性与准确性？
• RQ4 空间与时间特征的领域融合设计在多大程度上增强了模型在多样化视频数据集上的泛化能力？

主要发现

• HVS-5M在五个主流视频质量评估数据集（包括LIVE-VQC、KoNViD-1k和CVD2014）上实现了最先进性能。
• 消融研究显示，禁用视觉显著性模块后，六组数据集中的四组性能下降，证实其在基于注意力的特征加权中起关键作用。
• 边缘遮蔽模块贡献显著，禁用后平均SRCC下降2.5%，表明其在高对比度或纹理丰富区域的重要性。
• 将TempHyst模块替换为全连接网络后，KoNViD-1k数据集上SRCC下降16.6%，证明时间记忆建模对准确质量预测至关重要。
• 在关键模块中使用ResNet-50替代ConvNeXt，导致平均SRCC下降3.5%，证明ConvNeXt在该框架中特征提取的优越性。
• 该框架在类别内、跨数据集及混合数据集评估中均表现出强泛化能力，表明对分布偏移具有鲁棒性。