[논문 리뷰] Visual Quality Assessment of Panoramic Video

Mai Xu, Chen Li외 2명|arXiv (Cornell University)|2017. 09. 19.

Image and Video Quality Assessment참고 문헌 22인용 수 5

한 줄 요약

이 논문은 새로운 데이터베이스에서 확보한 시야 방향 데이터를 활용하여 인간의 시각 인지 모델을 반영한 옴니디렉셔널 비디오를 위한 새로운 주관적 및 객관적 시각 품질 평가(VQA) 방법을 제안한다. 주관적 평가를 위한 O-DMOS와 V-DMOS를 도입하고, 공간적 거리 또는 예측된 시야 방향에 따라 왜곡을 가중치화하는 두 가지 객관적 VQA 방법을 제시하여 기존 최고 수준의 성능을 크게 향상시킨다.

ABSTRACT

In contrast with traditional video, omnidirectional video enables spherical viewing direction with support for head-mounted displays, providing an interactive and immersive experience. Unfortunately, to the best of our knowledge, there are few visual quality assessment (VQA) methods, either subjective or objective, for omnidirectional video coding. This paper proposes both subjective and objective methods for assessing quality loss in encoding omnidirectional video. Specifically, we first present a new database, which includes the viewing direction data from several subjects watching omnidirectional video sequences. Then, from our database, we find a high consistency in viewing directions across different subjects. The viewing directions are normally distributed in the center of the front regions, but they sometimes fall into other regions, related to video content. Given this finding, we present a subjective VQA method for measuring difference mean opinion score (DMOS) of the whole and regional omnidirectional video, in terms of overall DMOS (O-DMOS) and vectorized DMOS (V-DMOS), respectively. Moreover, we propose two objective VQA methods for encoded omnidirectional video, in light of human perception characteristics of omnidirectional video. One method weighs the distortion of pixels with regard to their distances to the center of front regions, which considers human preference in a panorama. The other method predicts viewing directions according to video content, and then the predicted viewing directions are leveraged to allocate weights to the distortion of each pixel in our objective VQA method. Finally, our experimental results verify that both the subjective and objective methods proposed in this paper advance state-of-the-art VQA for omnidirectional video.

연구 동기 및 목표

• 옴니디렉셔널 비디오의 종합적인 시각 품질 평가 방법, 특히 주관적 및 객관적 평가 프레임워크에서의 부족을 보완하기 위해.
• 다양한 피실험자로부터의 시야 방향 데이터를 수집하고 분석하여 옴니디렉셔널 비디오에서의 인간의 시야 행동을 탐구하기 위해.
• 시야 패턴에 기반한 총합 및 지역 품질 차이를 반영하는 주관적 품질 평가 지표인 O-DMOS와 V-DMOS를 개발하기 위해.
• 패ano라믹 뷰에서 공간적 관련성에 따라 왜곡을 가중치화하여 인간의 시각 인지 특성을 반영하는 객관적 VQA 방법을 설계하기 위해.
• 기존 최고 수준의 접근 방식과의 비교를 통해 제안된 방법의 성능을 평가하고 검증하여 품질 예측 정확도 향상을 입증하기 위해.

제안 방법

• 옴니디렉셔널 비디오 시퀀스를 시청하는 다수의 피실험자로부터의 시야 방향 데이터를 포함한 새로운 주관적 VQA 데이터베이스를 구축하였다.
• 시야 방향이 전반적으로 앞쪽 영역 쪽으로 정규 분포를 보이며, 비디오 콘텐츠에 따라 변동됨을 발견하여, 인지 기반 지표 설계에 기여하였다.
• O-DMOS와 V-DMOS를 주관적 품질 지표로 제안: O-DMOS는 총합 품질을 위한 것이고, V-DMOS는 시야 방향 클러스터에 기반한 지역 품질을 위한 것이다.
• 전방 영역 중심에서의 거리에 따라 픽셀 수준의 왜곡에 가중치를 할당하는 객관적 VQA 방법을 개발하여 인간의 시각 선호도를 반영하였다.
• 비디오 콘텐츠에서 시야 방향을 예측하고, 이를 바탕으로 패노라마 전역에서 왜곡을 동적으로 가중치화하는 두 번째 객관적 VQA 방법을 설계하였다.
• 구구적 방법에 인간의 인지 특성을 통합하기 위해, 구형 비디오에서의 공간적 주의 집중과 시각 민감도를 모델링하였다.

실험 결과

연구 질문

• RQ1 시청자들의 시야 방향은 옴니디렉셔널 비디오 시퀀스 전반에 어떻게 분포되어 있으며, 피실험자 간에 일관된 패턴이 존재하는가?
• RQ2 시야 방향 데이터는 패ano라믹 비디오의 주관적 시각 품질 평가 정확도를 어느 정도 향상시킬 수 있는가?
• RQ3 옴니디렉셔널 비디오의 왜곡을 인간의 품질 인지에 더 잘 반영하기 위해 어떻게 효과적으로 가중치화할 수 있는가?
• RQ4 고정된 공간적 가중치보다 비디오 콘텐츠 기반의 시야 방향 예측이 객관적 VQA 성능 향상에 기여하는가?
• RQ5 제안된 주관적 및 객관적 VQA 방법은 기존 최고 수준의 접근 방식보다 품질 평가 정확도에서 뛰어나지 않는가?

주요 결과

• 다양한 피실험자 간의 시야 방향은 매우 일관되며, 주로 앞쪽 영역에 집중되어 있으며 전방 뷰 중심을 중심으로 정규 분포를 이룬다.
• 제안된 O-DMOS와 V-DMOS 지표는 인간의 인지와 강한 상관관계를 보이며 총합 및 지역 품질 차이를 효과적으로 포착한다.
• 전방 영역 중심에서의 거리에 따라 왜곡을 가중치화하는 객관적 VQA 방법은 기준 방법 대비 품질 예측 정확도를 향상시킨다.
• 시야 방향을 비디오 콘텐츠 기반으로 예측하고 이를 왜곡 가중치화에 활용하는 콘텐츠 인식 객관적 VQA 방법은 고정된 가중치 방식보다 뛰어난 성능을 달성한다.
• 실험 결과는 주관적 및 객관적 VQA 방법 모두가 옴니디렉셔널 비디오 품질 평가 분야에서 최신 기술 수준을 초월함을 확인한다.