[논문 리뷰] A crowdsourcing approach to video quality assessment

Babak Naderi, Ross Cutler|arXiv (Cornell University)|2022. 04. 14.

Image and Video Quality Assessment인용 수 5

한 줄 요약

이 논문은 ITU-T Rec. P.910에 따라 비디오 품질 평가를 위한 오픈소스이자 커뮤니티 기반의 구현을 제시하며, 아마존 메카니컬 터크를 통해 정확하고 확장 가능하며 비용 효율적인 주관적 테스트를 가능하게 한다. 평가자, 기기, 환경, 네트워크 자격 기준과 골드 및 트랩 질문을 적용하여 실험실 수준의 정확성과 높은 재현 가능성을 확보함으로써 ACR, ACR-HR, DCR, CCR 방법 전반에 걸쳐 일관성을 입증한다.

ABSTRACT

The gold standard for measuring video quality is the subjective test, and the most prevalent is the ITU-T Rec. P.910, a lab-based subjective standard in use for the past two decades. However, in practice using ITU-T Rec. P.910 is slow, expensive, and requires a lab, which all create barriers to usage. As a result, most research papers that need to measure video quality don't use ITU-T Rec. P.910 but rather metrics that are not well correlated to subjective opinion. We provide an open-source extension of ITU-T Rec. P.910 based on crowdsourcing principles which address the speed, usage cost, and barrier to usage issues. We implement Absolute Category Rating (ACR), ACR with hidden reference (ACR-HR), Degradation Category Rating (DCR), and Comparison Category Rating (CCR). It includes rater, environment, hardware, and network qualifications, as well as gold and trapping questions to ensure quality. We have validated that the implementation is both accurate and highly reproducible compared to existing ITU-T Rec. P.910 lab studies.

연구 동기 및 목표

• 실험실 기반의 ITU-T Rec. P.910 주관적 비디오 품질 테스트의 높은 비용, 느린 속도, 로지스틱 장벽을 해결하기 위해.
• 아마존 메카니컬 터크와 같은 커뮤니티 기반 플랫폼을 활용해 확장 가능하고 정확하며 재현 가능한 비디오 품질 평가를 가능하게 하기 위해.
• 평가자, 환경, 하드웨어, 네트워크 자격 기준과 골드 및 트랩 질문을 통해 데이터 품질을 확보하기 위해.
• 기존 실험실 연구와의 비교를 통해 커뮤니티 기반 프레임워크의 신뢰성과 일관성을 확인하기 위해.
• 학술 및 산업 분야의 비디오 코덱 평가에 사용할 수 있는 프로덕션 수준의 오픈소스 툴을 제공하기 위해.
• CVPR 2022 CLIC 챌린지 포함

제안 방법

• 절대 카테고리 평가(ACR), 숨겨진 기준이 있는 ACR(ACR-HR), 열화 카테고리 평가(DCR), 비교 카테고리 평가(CCR)의 네 가지 표준화된 주관적 테스트 방법을 구현한다.
• 참가자의 적합성을 확보하기 위해 시력과 색맹 테스트를 통한 평가자 자격 기준을 적용한다.
• 다양한 커뮤니티 작업자 환경에서의 시청 조건을 표준화하기 위해 환경 및 하드웨어 자격 검사를 시행한다.
• 테스트 중 안정적인 비디오 스트리밍을 확보하기 위해 네트워크 품질 검사를 통합한다.
• 낮은 노력 또는 집중력이 떨어진 평가자를 탐지하고 걸러내기 위해 골드 질문과 트랩 질문을 통합한다.
• 비디오 재생 빈도를 로그 기록하여 비제어 환경에서의 반복 재생을 모니터링하고 보정한다.

Figure 1: Data Flow Diagram.

실험 결과

연구 질문

• RQ1 커뮤니티 기반 플랫폼이 실험실 기반의 ITU-T Rec. P.910 주관적 비디오 품질 평가의 정확성과 재현 가능성을 재현할 수 있는가?
• RQ2 평가자, 환경, 하드웨어, 네트워크 자격 기준이 커뮤니티 기반 비디오 품질 평가의 신뢰성과 타당성에 어떤 영향을 미치는가?
• RQ3 커뮤니티 기반 ACR, DCR, CCR, ACR-HR 방법으로 수집된 평가와 기존 실험실 연구에서의 평가 간 상관관계는 어떠한가?
• RQ4 PSNR, MS-SSIM, VMAF와 같은 객관적 지표가 제안된 커뮤니티 기반 프레임워크를 통해 수집된 주관적 평가와 어떤 상관관계를 가지는가?
• RQ5 비제어 환경에서 비디오 재생을 반복 가능하게 허용할 경우, 데이터 품질 향상에 어느 정도 기여하는가?

주요 결과

• ACR와 ACR-HR 간, DCR와 CCR 간 평가에 대해 높은 상관관계(Pearson r > 0.96)를 보이며, 다양한 테스트 방법 간 강력한 일관성을 입증한다.
• 프레임워크는 높은 재현 가능성을 보였으며, 클립 수준 및 모델 수준에서 서로 다른 테스트 방법 간 상관계수는 0.91 초과를 기록했다.
• PSNR, MS-SSIM, VMAF와 같은 객관적 지표는 주관적 평가와 낮은 상관관계(Pearson r < 0.73)를 보이며, 현대 비디오 코덱에 대한 예측 능력이 제한적임을 확인한다.
• 비디오 시퀀스 중 6.3%만이 한 번 이상 재생되었으며, 비제어 환경에서의 영향이 최소화되었음을 시사한다.
• 이 툴은 CVPR 2022 CLIC 챌린지에서 성공적으로 배포되어, 27개의 압축 비디오 클립 세트를 수집하였으며, 각 시퀀스당 평균 12.1~21.6개의 유효 평가가 기록되었다.
• 자격 기준 및 검증 절차의 통합으로 데이터 품질가 크게 향상되어, 실험실 외부에서도 대규모로 신뢰할 수 있는 비디오 품질 평가가 가능해졌다.

Figure 2: The crowdsourcing test from the participant’s perspective.