[논문 리뷰] Video Quality Assessment: A Comprehensive Survey

Qi Zheng, Yibo Fan외 9명|arXiv (Cornell University)|2024. 12. 04.

Image and Video Quality Assessment인용 수 4

한 줄 요약

이 논문은 전통적, 참조 없는, 학습 기반 접근 방식을 포함한 비디오 품질 평가(VQA) 방법에 대한 종합적인 서베이를 제공한다. 메트릭, 모델, 데이터셋, 평가 프레임워크를 체계적으로 검토하여 VQA 연구 전반에 대한 통합적 개요를 제공하며, 분야 내 핵심 과제와 향후 방향성을 규명한다.

ABSTRACT

Video quality assessment (VQA) is an important processing task, aiming at predicting the quality of videos in a manner highly consistent with human judgments of perceived quality. Traditional VQA models based on natural image and/or video statistics, which are inspired both by models of projected images of the real world and by dual models of the human visual system, deliver only limited prediction performances on real-world user-generated content (UGC), as exemplified in recent large-scale VQA databases containing large numbers of diverse video contents crawled from the web. Fortunately, recent advances in deep neural networks and Large Multimodality Models (LMMs) have enabled significant progress in solving this problem, yielding better results than prior handcrafted models. Numerous deep learning-based VQA models have been developed, with progress in this direction driven by the creation of content-diverse, large-scale human-labeled databases that supply ground truth psychometric video quality data. Here, we present a comprehensive survey of recent progress in the development of VQA algorithms and the benchmarking studies and databases that make them possible. We also analyze open research directions on study design and VQA algorithm architectures. Github link: https://github.com/taco-group/Video-Quality-Assessment-A-Comprehensive-Survey.

연구 동기 및 목표

• 비디오 품질 평가(VQA) 기법에 대한 체계적이고 최신의 리뷰를 제공하기 위해.
• 참조 없는, 감소된 참조, 전체 참조 VQA 모델의 진화 및 현재 상태를 분석하기 위해.
• 표준화된 데이터셋을 사용하여 기존 VQA 메트릭의 성능 및 한계를 평가하기 위해.
• 딥 러닝 통합 및 지각 모델링을 포함한 VQA 분야의 열린 과제와 향후 연구 방향을 규명하기 위해.
• 비디오 품질 연구 및 응용 분야의 연구자와 전문가를 위한 참고 자료로 기능하기 위해.

제안 방법

• 사용 가능한 참조 정보에 따라 VQA 방법을 전체 참조, 감소된 참조, 참조 없는 프레임워크로 분류하기.
• PSNR, SSIM, VMAF와 같은 고전적 메트릭을 검토하고, 그들의 지각적 관련성과 한계를 분석하기.
• 학습 기반 VQA 모델을 분석하며, 컨볼루션 신경망(CNN)과 메트릭 학습을 활용한 품질 예측에 초점하기.
• 예측 정확도 향상에 기여하는 지각 품질 모델, 즉 구조적 및 통계적 특징의 역할을 분석하기.
• TID2013, LIVE, KoNViD-1k와 같은 널리 사용되는 벤치마크 데이터셋을 조사하고, 그들의 다양성과 한계를 평가하기.
• VQA 연구에서 사용되는 평가 프로토콜과 메트릭을 비교하기, 예를 들어 상관 계수(SROCC, LCC) 및 통계적 유의성 검정을 포함하여.

실험 결과

연구 질문

• RQ1 전체 참조, 감소된 참조, 참조 없는 VQA 모델 간 정확도 및 내성성 측면에서의 비교는 어떻게 되는가?
• RQ2 PSNR 및 SSIM과 같은 전통적 VQA 메트릭이 인간 시각 인지의 특성을 얼마나 잘 반영하는가?
• RQ3 딥 러닝 기반 VQA 모델이 주관적 비디오 품질을 예측하는 데 있어 고전적 접근 방식을 얼마나 뛰어넘는가?
• RQ4 벤치마크 데이터셋이 VQA 모델의 일반화 및 평가에 어떤 영향을 미치는가?
• RQ5 지각적으로 정확하고 확장 가능하며 일반화 가능한 VQA 솔루션 개발에 있어 열린 과제는 무엇인가?

주요 결과

• PSNR 및 SSIM과 같은 전통적 메트릭은 픽셀 수준의 차이에 의존하기 때문에 인간의 평가와의 상관관계가 제한적이다.
• 딥 러닝 기반의 참조 없는 VQA 모델은 고전적 방법보다 주관적 평균 평가 점수(MOS)와 더 높은 상관관계를 보인다.
• VMAF 메트릭은 스트리밍 및 압축된 비디오에서 강력한 성능을 보이며, 특히 어댑티브 비트레이트 환경에서 유리하다.
• KoNViD-1k 및 TID2013과 같은 데이터셋은 널리 사용되지만 콘텐츠 유형, 왜곡 유형, 품질 범위 측면에서 편향을 보인다.
• 딥 러닝 모델에 지각 특징과 어텐션 메커니즘이 통합될수록 다양한 비디오 콘텐츠에서의 내성성이 향상된다.
• 진전이 있었음에도 불구하고, 다양한 비디오 코덱, 해상도 및 콘텐츠 유형 간 일반화 문제는 여전히 VQA 분야의 주요 과제로 남아 있다.