[论文解读] Codec Compression Efficiency Evaluation of MPEG-5 part 2 (LCEVC) using Objective and Subjective Quality Assessment

Nabajeet Barman, Steven Schmidt+2 more|arXiv (Cornell University)|Apr 12, 2022

Video Coding and Compression Technologies被引用 4

一句话总结

本文评估了MPEG-5第2部分LCEVC在实时游戏视频流中的表现，将其与x264和x265进行对比，采用客观（VMAF、PSNR）和主观质量评估方法。在使用VMAF作为指标时，LCEVC相较于x264和x265分别实现了约42%和38%的码率节省，且在低码率下主观质量更优，尤其在基于x264的编码中表现更佳。

ABSTRACT

With the increasing advancements in video compression efficiency achieved by newer codecs such as HEVC, AV1, and VVC, and intelligent encoding strategies, as well as improved bandwidth availability,there has been a proliferation and acceptance of newer services such as Netflix, Twitch, etc. However, such higher compression efficiencies are achieved at the cost of higher complexity and encoding delay, while many applications are delay sensitive. Hence, there is a requirement for faster, more efficient codecs to achieve higher encoding efficiency without significant trade-off in terms of both complexity and speed. We present in this work an evaluation of the latest MPEG-5 Part 2 Low Complexity Enhancement Video Coding (LCEVC) for live gaming video streaming applications. The results are presented in terms of bitrate savings using both subjective and objective quality measures as well as a comparison of the encoding speeds. Our results indicate that, for the encoding settings used in this work, LCEVC outperforms both x264 and x265 codecs in terms of bitrate savings using VMAF by approximately 42\% and 38\%. Using subjective results, it is found that LCEVC outperforms the respective base codecs, especially for low bitrates. This effect is more evident for x264 than for x265, i.e., for the latter the absolute improvement of quality scores is smaller. The objective and subjective results as well as sample video sequences are made available as part of an open dataset, LCEVC-LiveGaming at https://github.com/NabajeetBarman/LCEVC-LiveGaming.

研究动机与目标

• 评估新型MPEG-5第2部分LCEVC编码器在实时游戏视频流媒体应用中的压缩效率。
• 通过客观与主观质量度量指标，对比LCEVC与广泛使用的基础编码器x264和x265的性能表现。
• 分析LCEVC在不同码率下的编码速度与质量一致性影响，尤其在低带宽场景下的表现。
• 提供一个可复现的开放数据集（LCEVC-LiveGaming），以支持未来在游戏场景下视频编码器评估的研究。
• 评估主观测试方法的可靠性及其与VMAF和PSNR等客观指标的相关性。

提出的方法

• 将LCEVC标准作为基础编码器x264和x265的增强层，以半分辨率进行编码，并应用残差压缩以提升质量。
• 应用PSNR和VMAF等客观质量度量指标来量化编码效率，采用BD-BR（Bjontegaard Delta-Bitrate）进行码率节省对比。
• 通过修改后的ACR量表和成对刺激评估方法，开展成对比较的主观测试，以衡量终端用户感知的质量。
• 对码流大小和质量评分进行逐帧分析，以评估不同视频序列中时间上的一致性与性能表现。
• 使用ANOVA分析不同编码器配置下主观MOS评分差异的统计显著性。
• 收集并发布了一个全面的开放数据集，包含编码后的视频序列、质量评分及测试元数据，以确保可复现性。

实验结果

研究问题

• RQ1 在使用VMAF和PSNR等客观度量指标时，LCEVC与x264和x265相比在码率节省方面表现如何？
• RQ2 在低码率下，LCEVC编码序列与基础编码器对应序列之间的主观质量差异是什么？
• RQ3 LCEVC在帧间质量表现上是否具有一致性？在带宽受限条件下是否能维持更优的视觉质量？
• RQ4 在游戏视频内容背景下，主观测试结果与VMAF和PSNR等客观度量指标的相关性如何？
• RQ5 LCEVC的多层架构在低码率下相比全分辨率基础编码器，如何实现性能提升？

主要发现

• 当使用VMAF作为客观质量度量指标时，LCEVC相较于x264实现了约42%的码率节省，相较于x265实现了约38%的码率节省。
• 主观测试显示，LCEVC-x264在平均意见得分（MOS）方面显著优于x264，尤其在低码率下，用户体验更一致。
• 对于x265，LCEVC带来的主观质量提升较小，表明x265在高码率下已具备高质量表现，因此LCEVC增强带来的相对增益较小。
• 逐帧分析显示，由于基础层以半分辨率编码，LCEVC在低码率条件下能保持更一致的码流大小和质量评分。
• ANOVA分析证实，编码器实现对主观质量存在显著的主效应，验证了测试方法的可靠性。
• 研究发现，使用VMAF的BD-BR结果应谨慎解读，并应辅以主观测试；因为基于PSNR的BD-BR度量可能无法完全反映感知增益。