[논문 리뷰] Perceptual Quality Assessment of Immersive Images Considering Peripheral Vision Impact

Peiyao Guo, Qiu Shen외 3명|arXiv (Cornell University)|2018. 02. 25.

Image and Video Quality Assessment참고 문헌 26인용 수 11

한 줄 요약

이 논문은 시각의 중심부, 근접 외측부, 원거리 외측부 영역에서 비균일한 품질 할당을 가능하게 하여 데이터 크기를 최대 90%까지 줄이고 실시간 기가픽셀 렌더링에서 품질 손실 없이 렌더링 속도를 10배로 향상시키는 몰입형 VR 이미지의 인지적 품질 모델을 제안한다. 이 모델은 시야각(eccentricity)에 따른 이미지 품질 저하를 반영하기 위해 주변 시야 감도를 고려하여, 정량화 단위(q)와 공간 해상도(s)를 함수로 모델링한다. 일반화된 가우시안 함수를 사용함으로써, 중심부, 근접 외측부, 원거리 외측부 영역에서 비균일한 품질 할당이 가능해진다.

ABSTRACT

Conventional images/videos are often rendered within the central vision area of the human visual system (HVS) with uniform quality. Recent virtual reality (VR) device with head mounted display (HMD) extends the field of view (FoV) significantly to include both central and peripheral vision areas. It exhibits the unequal image quality sensation among these areas because of the non-uniform distribution of photoreceptors on our retina. We propose to study the sensation impact on the image subjective quality with respect to the eccentric angle $θ$ across different vision areas. Often times, image quality is controlled by the quantization stepsize $q$ and spatial resolution $s$, separately and jointly. Therefore, the sensation impact can be understood by exploring the $q$ and/or $s$ in terms of the $θ$, resulting in self-adaptive analytical models that have shown quite impressive accuracy through independent cross validations. These models can further be applied to give different quality weights at different regions, so as to significantly reduce the transmission data size but without subjective quality loss. As demonstrated in a gigapixel imaging system, we have shown that the image rendering can be speed up about 10$ imes$ with the model guided unequal quality scales, in comparison to the the legacy scheme with uniform quality scales everywhere.

연구 동기 및 목표

• 몰입형 VR 환경에서 주변 시야가 주관적 이미지 품질에 미치는 영향을 조사하는 것.
• 망막의 비균일한 수용체 분포로 인한 시야각(θ)에 따른 인지적 품질 저하 영향을 모델링하는 것.
• 정량화 단위(q)와 공간 해상도(s)가 다양한 시야 영역에서 인지 품질에 미치는 영향을 정량화하는 폐쇄형 해석 모델을 개발하는 것.
• 주관적 품질을 유지하면서 데이터 크기를 줄일 수 있도록 몰입형 이미지에서 비균일한 품질 할당을 가능하게 하는 것.
• 실시간 기가픽셀 이미징 시스템에서 모델을 검증하고, 렌더링 성능 향상을 입증하는 것.

제안 방법

• 저자들은 시야각(θ), 정량화 단위(q), 공간 해상도(s)를 함수로 하여 인지적 품질을 모델링하며, 통합된 매개변수화된 일반화된 가우시안 함수를 사용한다.
• 콘텐츠에서 추출한 이미지 특징를 기반으로 매개변수를 추정하여, 다양한 시야 영역에서의 품질 인식 예측이 가능한 분석 모델을 유도한다.
• 정확한 인간 인식 예측을 보장하기 위해 주관적 품질 평가를 사용하여 모델을 훈련하고 교차 검증한다.
• 중심시야부(CVA), 근접외측시야부(NPA), 원거리외측시야부(FPA)의 세 시야 영역에 걸쳐 비균일한 품질 스케일링을 적용하며, CVA에서는 높은 품질을, 외측 영역에서는 품질을 낮춘다.
• 모델은 각 영역별로 q와 s를 조정함으로써 적응형 비트 할당을 이끌어내어 데이터 크기를 최소화하면서도 인지적 품질을 유지한다.
• 타일링과 비균일한 품질 할당을 사용한 실시간 기가픽셀 이미징 시스템에서 방법을 검증하였으며, 균일한 품질 기반 베이스라인과의 렌더링 성능 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 몰입형 VR 디스플레이에서 시야각 영역(중심부, 근접외측부, 원거리외측부)에 따라 이미지 품질 인식은 어떻게 달라지는가?
• RQ2 정량화 단위(q)와 공간 해상도(s)가 다양한 시야각에서 인지 품질에 미치는 종합적 영향은 무엇인가?
• RQ3 q와 s를 기반으로 비균일한 품질 할당이 가능한 폐쇄형 해석 모델이 주변 시야 영역에서 주관적 품질 저하를 정확히 예측할 수 있는가?
• RQ4 다양한 시야 영역에 비균일한 품질 할당을 적용할 경우, 인지적 품질 손실 없이 데이터 크기를 얼마나 줄일 수 있는가?
• RQ5 실시간 기가픽셀 이미징 시스템에 제안된 모델을 적용했을 때, 렌더링 속도 향상은 어느 정도 이루어지는가?

주요 결과

• 제안된 모델은 독립적인 교차 검증을 통해 다양한 시야각 영역에서 주관적 이미지 품질을 높은 정확도로 예측한다.
• 모델 가이드 비균일 품질 할당은 균일 품질 렌더링 대비 평균 90.18%까지 이미지 데이터 크기를 감소시킨다.
• 실시간 기가픽셀 이미징 시스템에서 렌더링 스루풋은 약 10배 향상되었다.
• 부드러운 콘텐츠(예: 하늘)가 포함된 장면에서는 최대 20배의 성능 향상이 관찰되었으며, 복잡한 텍스처(예: 초원)는 감소했지만 여전히 유의미한 성능 향상이 있었다.
• 사용자들은 중심부 외측 영역에서 균일 품질과 비균일 품질 할당 간의 차이를 인식하지 못했으며, 이는 모델의 인지적 타당성을 확인한다.
• 모델의 성능는 콘텐츠에 따라 달라지며, 저공간 변화율 콘텐츠(낮은 구조적 인덱스 SI)에서는 더 높은 데이터 감소율과 속도 향상을 보였고, 고복잡도 텍스처에서는 성능 향상이 상대적으로 낮았다.