[논문 리뷰] Codec Compression Efficiency Evaluation of MPEG-5 part 2 (LCEVC) using Objective and Subjective Quality Assessment

Nabajeet Barman, Steven Schmidt외 2명|arXiv (Cornell University)|2022. 04. 12.

Video Coding and Compression Technologies인용 수 4

한 줄 요약

이 논문은 실시간 게임 영상 스트리밍에 대한 MPEG-5 Part 2 LCEVC의 성능을 평가하며, 객관적(VMFA, PSNR) 및 주관적 품질 평가를 통해 x264 및 x265와 비교한다. VMAF 기준으로 LCEVC는 x264 대비 약 42%, x265 대비 약 38%의 비트레이트 절감을 달성했으며, 특히 x264 기반 인코딩에서 저비트레이트 조건에서 뛰어난 주관적 품질을 보였다.

ABSTRACT

With the increasing advancements in video compression efficiency achieved by newer codecs such as HEVC, AV1, and VVC, and intelligent encoding strategies, as well as improved bandwidth availability,there has been a proliferation and acceptance of newer services such as Netflix, Twitch, etc. However, such higher compression efficiencies are achieved at the cost of higher complexity and encoding delay, while many applications are delay sensitive. Hence, there is a requirement for faster, more efficient codecs to achieve higher encoding efficiency without significant trade-off in terms of both complexity and speed. We present in this work an evaluation of the latest MPEG-5 Part 2 Low Complexity Enhancement Video Coding (LCEVC) for live gaming video streaming applications. The results are presented in terms of bitrate savings using both subjective and objective quality measures as well as a comparison of the encoding speeds. Our results indicate that, for the encoding settings used in this work, LCEVC outperforms both x264 and x265 codecs in terms of bitrate savings using VMAF by approximately 42\% and 38\%. Using subjective results, it is found that LCEVC outperforms the respective base codecs, especially for low bitrates. This effect is more evident for x264 than for x265, i.e., for the latter the absolute improvement of quality scores is smaller. The objective and subjective results as well as sample video sequences are made available as part of an open dataset, LCEVC-LiveGaming at https://github.com/NabajeetBarman/LCEVC-LiveGaming.

연구 동기 및 목표

• 실시간 게임 영상 스트리밍 응용 분야에 대한 신규 MPEG-5 Part 2 LCEVC 코덱의 압축 효율성을 평가하기 위해.
• 객관적 및 주관적 품질 지표를 사용하여 LCEVC의 성능을 널리 사용되는 기본 코덱인 x264 및 x265와 비교하기 위해.
• 특히 저대역폭 환경에서 비트레이트가 변할 경우 LCEVC의 인코딩 속도 및 품질 일관성에 미치는 영향을 분석하기 위해.
• 향후 게임 환경에서의 영상 코덱 평가 연구를 위한 재현 가능한 개방형 데이터셋(LCEVC-LiveGaming)을 제공하기 위해.
• 주관적 테스트 방법의 신뢰성과 VMAF 및 PSNR와 같은 객관적 지표 간의 상관관계를 평가하기 위해.

제안 방법

• 기본 코덱인 x264 및 x265 위에 LCEVC 표준을 보조 레이어로 적용하여 해상도를 절반으로 줄이고 잔차 압축을 적용함으로써 품질 향상을 도모함.
• 압축 효율을 정량화하기 위해 PSNR 및 VMAF와 같은 객관적 품질 지표를 적용하였으며, 비트레이트 절감 비교에 대해 BD-BR(Bjontegaard Delta-Bitrate)를 사용함.
• 종합 평가 척도를 수정한 ACR 척도와 쌍대 비교 자극 평가를 활용하여 종합적인 사용자 인지 품질을 측정하기 위해 주관적 테스트를 실시함.
• 비디오 시퀀스 전반에 걸쳐 프레임 단위로 비트스트림 크기 및 품질 점수를 분석하여 시간적 일관성과 성능을 평가함.
• 코덱 설정 간 주관적 MOS 점수의 유의미한 차이를 분석하기 위해 ANOVA를 적용함.
• 재현 가능성을 위해 인코딩된 비디오 시퀀스, 품질 점수 및 테스트 메타데이터를 포함한 포괄적인 개방형 데이터셋을 수집 및 공개함.

실험 결과

연구 질문

• RQ1 VMAF 및 PSNR와 같은 객관적 지표를 사용할 때, LCEVC는 x264 및 x265에 비해 어떤 비트레이트 절감 성과를 보였는가?
• RQ2 특히 저비트레이트 조건에서 LCEVC로 인코딩된 시퀀스와 기본 코덱 대비 주관적 품질 차이가 어떻게 나타났는가?
• RQ3 LCEVC의 품질 성능은 프레임 간 일관성이 어떻게 유지되며, 대역폭 제약 조건에서도 더 나은 시각적 품질을 유지하는가?
• RQ4 게임 영상 콘텐츠 맥락에서 주관적 테스트 결과와 VMAF 및 PSNR와 같은 객관적 지표 간의 상관관계는 어느 정도인가?
• RQ5 LCEVC의 다중 레이어 아키텍처는 전체 해상도 기반 기본 코덱 대비 저비트레이트에서 성능 향상에 어떻게 기여하는가?

주요 결과

• VMAF를 객관적 품질 지표로 사용했을 때, LCEVC는 x264 대비 약 42%, x265 대비 약 38%의 비트레이트 절감을 달성함.
• 주관적 테스트 결과, LCEVC-x264는 특히 저비트레이트 조건에서 x264보다 평균 평가 점수(MOS)에서 뚜렷한 우월성을 보였으며, 일관성 있는 품질 경험을 제공함.
• x265의 경우 LCEVC 적용으로 인한 주관적 향상 폭이 작았는데, 이는 x265가 고비트레이트에서 이미 높은 품질을 제공하기 때문에 LCEVC 향상 효과의 상대적 기여가 줄어들었기 때문임.
• 프레임 단위 분석 결과, LCEVC는 해상도를 절반으로 줄여 기본 레이어를 인코딩함으로써 저비트레이트 조건에서도 더 일관된 비트스트림 크기와 품질 점수를 유지함.
• ANOVA 분석을 통해 코덱 구현 방식이 주관적 품질에 통계적으로 유의미한 영향을 미치는 것으로 확인되어 테스트 방법론의 신뢰성이 입증됨.
• 이 연구에서는 VMAF 기반 BD-BR 결과를 주의 깊이 해석하고, PSNR 기반 BD-BR 지표가 인지적 이점을 완전히 반영하지 못할 수 있으므로 주관적 테스트로 보완해야 함을 발견함.