[논문 리뷰] Video compression dataset and benchmark of learning-based video-quality metrics

Anastasia Antsiferova, Sergey Lavrushkin외 4명|arXiv (Cornell University)|2022. 11. 22.

Image and Video Quality Assessment인용 수 13

한 줄 요약

이 논문은 현대 압축 표준(AVC, HEVC, AV1, VVC, VP9)을 기반으로 한 2,486개의 압축 영상 스트림과 함께 군중 주관적 품질 평가 점수를 포함한 새로운 벤치마크 및 데이터셋을 소개한다. 최신 학습 기반 영상 품질 측정 지표를 평가한 결과, 일부 비참조 지표가 VMAF와 같은 최상위 전참조 지표의 성능을 이미 따라가고 있음을 확인했으며, VMAF는 여전히 가장 높은 상관관계를 보이는 전참조 옵션이다.

ABSTRACT

Video-quality measurement is a critical task in video processing. Nowadays, many implementations of new encoding standards - such as AV1, VVC, and LCEVC - use deep-learning-based decoding algorithms with perceptual metrics that serve as optimization objectives. But investigations of the performance of modern video- and image-quality metrics commonly employ videos compressed using older standards, such as AVC. In this paper, we present a new benchmark for video-quality metrics that evaluates video compression. It is based on a new dataset consisting of about 2,500 streams encoded using different standards, including AVC, HEVC, AV1, VP9, and VVC. Subjective scores were collected using crowdsourced pairwise comparisons. The list of evaluated metrics includes recent ones based on machine learning and neural networks. The results demonstrate that new no-reference metrics exhibit a high correlation with subjective quality and approach the capability of top full-reference metrics.

연구 동기 및 목표

• AV1, VVC, LCEVC와 같은 최신 표준에서 발생하는 현대적 압축 아티팩트를 반영하는 종합적이고 최신 기준의 영상 품질 측정 지표 벤치마크가 부족한 문제를 해결한다.
• 기존 데이터셋의 한계를 극복한다. 기존 데이터셋은 주로 오래된 AVC 압축 영상으로 구성되어 있으며, 참가자 수가 적은 사무실 내 주관적 테스트에 의존한다.
• 대규모이고 다양한 데이터셋을 제공하여 군중 주관적 쌍대비교를 통해 새로운 학습 기반 품질 측정 지표의 편향 없는 평가를 가능하게 한다.
• 공개된 테스트 세트와 숨겨진 테스트 세트를 활용해 새로운 영상 품질 평가 모델의 공정하고 재현 가능한 벤치마크 평가를 가능하게 한다.
• 현대 인코더에서 발생하는 실제 세계 아티팩트를 기반으로 훈련된 자원을 제공함으로써 더 정확하고 인지적으로 일치하는 지표 개발을 지원한다.

제안 방법

• AVC, HEVC, AV1, VP9, VVC의 다섯 가지 현대 영상 압축 표준을 사용해 2,486개의 영상 스트림을 수집했다.
• 거의 11,000명의 참가자가 참여한 군중 주관적 품질 평가를 쌍대비교 방법론을 통해 수행했다.
• 편향 없는 신규 지표 평가를 보장하기 위해 개방형 및 숨겨진 테스트 세트로 나누어 벤치마크를 구성했다.
• 딥 러닝 기반 비참조 및 전참조 모델을 포함한 22개의 최신 영상 품질 측정 지표를 평가했다.
• 다섯 가지 콘텐츠 기반 서브셋에서 주관적 점수와의 상관관계를 측정하기 위해 SROCC 및 KROCC 상관관계 지표를 사용했다.
• 표준 하드웨어 구성 조건 하에서 각 지표의 계산 효율성(FPS)을 보고하여 실용적 구현 가능성 평가를 수행했다.

실험 결과

연구 질문

• RQ1 AV1 및 VVC와 같은 신규 표준으로 압축된 영상에서 현대의 학습 기반 비참조 영상 품질 지표는 주관적 품질과 얼마나 잘 일치하는가?
• RQ2 기존 전참조 지표, 예를 들어 VMAF는 현대적 압축 아티팩트에서 주관적 점수와 얼마나 높은 상관관계를 보이는가?
• RQ3 이전 데이터셋에서 훈련된 비참조 지표는 LCEVC의 초해상도와 같은 새로운 압축 아티팩트에 일반화될 수 있는가?
• RQ4 새로운 데이터셋에서 다양한 콘텐츠 유형(예: 게임, UGC, 시네마틱) 간 지표 성능은 어떻게 달라지는가?
• RQ5 제안된 벤치마크에서 평가된 현대의 학습 기반 지표의 계산 효율성은 어떠한가?

주요 결과

• VMAF 지표(v061)는 전체 데이터셋에서 최고의 SROCC 0.972(95% 신뢰구간: 0.971–0.974)를 기록하여 최상위 전참조 지표로 평가되었다.
• 비참조 지표 MDTVSFA는 SROCC 0.961(95% 신뢰구간: 0.958–0.964)을 기록하여 최상위 전참조 지표와 유사한 성능을 보였다.
• SPAQ MT-S 및 SPAQ BL을 포함한 여러 비참조 지표가 다양한 콘텐츠 유형에서 주관적 점수와 강한 상관관계(SROCC > 0.94)를 보였다.
• AVQT(애플의 고급 영상 품질 도구)는 SROCC 0.944(95% 신뢰구간: 0.941–0.947)를 기록하여 공개 평가가 제한적이지만 강력한 성능을 보였다.
• 지표의 계산 복잡도는 다양하게 나타났으며, NIQE는 가장 빠른 80.00 FPS였고, VQM은 가장 느린 280.00 FPS였으며, 정확성과 속도 사이의 상충 관계를 시사했다.
• 지표 점수의 분포는 비균일했으며, SSIM은 약 0.85로 평균화되었고, PSNR는 로그정규분포 유사한 분포를 보였는데, 이는 전통적 지표가 포착하지 못한 실제 압축 아티팩트의 특성을 반영했다.