[논문 리뷰] Perceptual Evaluation on Audio-visual Dataset of 360 Content

Randy Frans Fela, Andréas Pastor외 4명|arXiv (Cornell University)|2022. 05. 16.

Image and Video Quality Assessment인용 수 4

한 줄 요약

이 논문은 8K 등각도 영상과 4차 순서 앰비소닉 오디오를 포함한 새로운 오픈소스 360° 오디오비주얼 데이터셋을 제안하며, 음성, 영상, 오디오비주얼 테스트에서의 주관적 품질 점수를 함께 제공한다. 이 데이터셋은 인지 품질 평가에 있어 강력한 기반을 제공하며, 결과적으로 VMAF 4K와 ViSQOL aswb가 주관적 점수와 가장 높은 상관관계를 보임을 보여준다.

ABSTRACT

To open up new possibilities to assess the multimodal perceptual quality of omnidirectional media formats, we proposed a novel open source 360 audiovisual (AV) quality dataset. The dataset consists of high-quality 360 video clips in equirectangular (ERP) format and higher-order ambisonic (4th order) along with the subjective scores. Three subjective quality experiments were conducted for audio, video, and AV with the procedures detailed in this paper. Using the data from subjective tests, we demonstrated that this dataset can be used to quantify perceived audio, video, and audiovisual quality. The diversity and discriminability of subjective scores were also analyzed. Finally, we investigated how our dataset correlates with various objective quality metrics of audio and video. Evidence from the results of this study implies that the proposed dataset can benefit future studies on multimodal quality evaluation of 360 content.

연구 동기 및 목표

• 침습적 360° 오디오비주얼 콘텐츠를 위한 고품질, 다중모달, 주관적 품질 데이터셋의 부족을 해결하기 위해.
• 제어된 고신뢰도 기록을 바탕으로 360° 영상과 고차원 앰비소닉 오디오를 포함한 기준 데이터셋을 구축하기 위해.
• 음성, 영상, 오디오비주얼 모odal 간 주관적 품질 점수의 분별성과 신뢰성 평가하기 위해.
• 기존의 객관적 품질 측정 지표들이 360° AV 콘텐츠에서 인간의 인지 성능을 예측하는 데 얼마나 잘 작동하는지 평가하기 위해.
• 향후 침입형 미디어를 위한 다중모달, 인지적으로 정확한 품질 측정 지표 개발의 기초를 제공하기 위해.

제안 방법

• 전문 장비를 사용해 12개의 고품질 360° 영상 및 오디오 시나리오를 확보: 8K 등각도 영상(7680×3840, 30fps)은 Insta360 Pro2로, 4차 순서 앰비소닉(비디오 형식, 25채널) 오디오는 em32 Eigenmike로 촬영.
• MUSHRA 방법론을 사용해 세 가지 별도 실험(음성 전용, 영상 전용, 오디오비주얼)을 통해 주관적 평균의견 점수(MOS)를 수집.
• 다운샘플링을 통해 6144×3072로 변환하고, 다양한 비트레이트 및 QP 값으로 H.265/HEVC로 인코딩한 처리된 영상 시퀀스를 준비.
• 원본 32채널 A-포맷에서 4차 순서 B-포맷(AmbiX)으로 다운믹스하여 오디오 시퀀스를 생성하며, 24비트, 48kHz, 채널당 1152 kbps 유지를 유지.
• PLCC, SRCC, KRCC, AUC 지표를 사용해 주관적 DMOS 점수와 비교해 12개의 오디오 및 12개의 영상 객관적 품질 측정 지표(ViSQOL, VMAF, PEAQ, PSNR 등)를 평가.
• 주관적 점수에 대한 통계 분석을 수행하여 총 평균-신뢰구간, 주관적 점수 민감도(SOS), 평가자 수가 정확도에 미치는 영향을 분석.

실험 결과

연구 질문

• RQ1 다양한 인코딩 파rameter가 360° AV 콘텐츠의 인지 품질에 어떤 영향을 미치는가?
• RQ2 음성, 영상, 오디오비주얼 모달 간 주관적 품질 점수의 분별성과 신뢰성은 어떠한가?
• RQ3 평가자 수가 주관적 품질 점수의 정확성과 안정성에 어떤 영향을 미치는가?
• RQ4 360° 오디오 및 영상에서 주관적 평균의견 점수와 가장 높은 상관관계를 보이는 객관적 품질 측정 지표는 무엇인가?
• RQ5 제안된 데이터셋이 침입형 콘텐츠를 위한 새로운 다중모달 인지 품질 모델 개발을 얼마나 잘 지원하는가?

주요 결과

• 제안된 데이터셋은 강력한 분별성을 보이며, 영상 실험에서는 가장 높은 점수 분산을, 오디오비주얼 실험에서는 가장 일관된 주관적 평가를 보였다.
• 12명의 평가자 이후 낮은 신뢰구간(CI)과 안정된 추세를 보이며, 신뢰성 있는 결과를 얻기 위해 각 작업에 대해 20명의 평가자를 사용하는 것이 타당하다고 확인되었다.
• 오디오 부분은 다른 MUSHRA 기반 연구들과 비교해 유사한 알파 값(α)을 기록하여, 인지 평가의 높은 신뢰성을 입증했다.
• 오디오 지표 중에서 ViSQOL aswb는 최고의 성능을 보였으며, PLCC(0.924), SRCC(0.938), AUC(0.995) 모두 최고 기록을 달성했고, PEAQ 및 ViSQOL wb를 압도했다.
• 영상 측정 지표 중 VMAF 4K는 PLCC 0.919, SRCC 0.957, AUC 0.989로 가장 뛰어난 성능을 보였으며, PSNR, SSIM, VMAF HD를 크게 앞서갔다.
• S-PSNR, WS-PSNR, CPP-PSNR와 같은 지표들은 360° 영상에 적용했을 때 2D 기반 지표와 비교해 인지적 우월성이 없었으며, 등각도 콘텐츠에 대해 제한된 관련성을 보였다.