[논문 리뷰] No-Reference Quality Assessment for 360-degree Images by Analysis of Multi-frequency Information and Local-global Naturalness

Wei Zhou, Jiahua Xu외 2명|arXiv (Cornell University)|2021. 02. 22.

Image and Video Quality Assessment참고 문헌 55인용 수 6

한 줄 요약

이 논문은 360도 이미지의 참조 없음 품질 평가 방법인 MFILGN을 제안한다. 이 방법은 이산 하르 웨이블릿 변환을 통해 다중 주파수 정보를 통합하고, 시음각 및 등방위 투영도로부터 국소-전반적 자연스러움 특징을 활용한다. 두 개의 공개 데이터베이스에서 평가된 결과, MFILGN는 SROCC 최고 0.9751, RMSE 최저 1.3864로 기존의 전반적 참조 및 참조 없음 방법들을 능가하는 최첨단 성능을 달성하였다.

ABSTRACT

360-degree/omnidirectional images (OIs) have achieved remarkable attentions due to the increasing applications of virtual reality (VR). Compared to conventional 2D images, OIs can provide more immersive experience to consumers, benefitting from the higher resolution and plentiful field of views (FoVs). Moreover, observing OIs is usually in the head mounted display (HMD) without references. Therefore, an efficient blind quality assessment method, which is specifically designed for 360-degree images, is urgently desired. In this paper, motivated by the characteristics of the human visual system (HVS) and the viewing process of VR visual contents, we propose a novel and effective no-reference omnidirectional image quality assessment (NR OIQA) algorithm by Multi-Frequency Information and Local-Global Naturalness (MFILGN). Specifically, inspired by the frequency-dependent property of visual cortex, we first decompose the projected equirectangular projection (ERP) maps into wavelet subbands. Then, the entropy intensities of low and high frequency subbands are exploited to measure the multi-frequency information of OIs. Besides, except for considering the global naturalness of ERP maps, owing to the browsed FoVs, we extract the natural scene statistics features from each viewport image as the measure of local naturalness. With the proposed multi-frequency information measurement and local-global naturalness measurement, we utilize support vector regression as the final image quality regressor to train the quality evaluation model from visual quality-related features to human ratings. To our knowledge, the proposed model is the first no-reference quality assessment method for 360-degreee images that combines multi-frequency information and image naturalness. Experimental results on two publicly available OIQA databases demonstrate that our proposed MFILGN outperforms state-of-the-art approaches.

연구 동기 및 목표

• 가상현실 응용 분야에서 360도 이미지에 특화된 효과적인 參照 없음 품질 평가 방법의 부족을 해결하기 위해.
• 사용자 시각 시스템(HVS) 특성과 헤드마운트 디스플레이(HMD)에서의 일반적인 시각 행동을 반영하는 블라인드 품질 평가 모델을 개발하기 위해.
• 전반적 및 국소(시음각 수준) 관점에서의 다중 주파수 정보와 자연 장면 통계(NSS) 특징을 융합하여 품질 예측 정확도를 향상시키기 위해.
• 다양한 왜곡 유형과 데이터베이스에 걸쳐 제안된 모델의 일반화 능력을 검증하기 위해.
• 향후 매개변수 기반 모델의 기초를 마련하고 옴니디렉셔널 비디오 품질 평가로의 확장 가능성을 확보하기 위해.

제안 방법

• 이 방법은 360도 이미지의 등방위 투영(ERP) 지ap을 이산 하르 웨이블릿 변환(DHWT)을 사용해 저주파수 및 고주파수 서브밴드로 분해한다.
• 웨이블릿 서브밴드의 엔트로피 강도를 계산하여 다중 주파수 정보를 정량화하며, 이는 인간 시각皮질의 주파수 의존 감도를 반영한다.
• 자연 장면 통계(NSS)를 사용해 다수의 시음각에서 국소 자연스러움 특징을 추출하여 HMD 상호작용 중 사용자의 실제 시야를 모델링한다.
• 전체 ERP 지도에서 전반적 자연스러움 특징을 계산하여 전반적인 이미지 구조와 통계적 특성을 캡처한다.
• 다중 주파수 특징과 국소-전반적 자연스러움 특징을 융합하여 서포트 벡터 회귀(SVR) 모델에 입력하여 주관적 품질 점수를 예측한다.
• 모델은 공개 OIQA 데이터베이스의 인간 평가 점수(MOS)를 사용해 훈련되고, 교차 데이터베이스 테스트 및 통계적 유의성 분석을 통해 검증된다.

실험 결과

연구 질문

• RQ1 360도 이미지의 다중 주파수 정보는 어떻게 효과적으로 측정할 수 있을까? 이는 인지적 품질을 반영할 수 있는가?
• RQ2 국소(시음각 수준)와 전반적(ERP 수준) 자연스러움 특징은 참조 없음 품질 평가에 얼마나 기여하는가?
• RQ3 다중 주파수 정보와 국소-전반적 자연스러움 특징의 융합은 기존의 참조 없음 및 전반적 참조 IQA 방법을 능가할 수 있는가?
• RQ4 제안된 MFILGN 모델은 다양한 왜곡 유형과 데이터베이스에 걸쳐 얼마나 일반화 가능한가?
• RQ5 제안된 방법은 반복적인 랜덤 데이터베이스 분할에 걸쳐 일관되고 강건한 성능을 보여주는가?

주요 결과

• OIQA 데이터베이스에서 MFILGN는 스피어만 순위상관계계수(SROCC) 0.9751과 평균제곱오차(RMSE) 1.3864를 기록하여 최첨단 방법들을 능가하였다.
• CVIQD 데이터베이스에서 MFILGN는 SROCC 0.9695와 RMSE 3.1036를 기록하여 품질 예측의 높은 정확도를 입증하였다.
• 다중 주파수 정보의 포함으로 OIQA 데이터베이스에서 SROCC는 0.9495에서 0.9614로 향상되었으며, 이는 보조 특징으로서의 효과를 확인하였다.
• 국소 자연스러움 특징만으로도 개별 구성 요소 중 최고의 성능를 기록하여, 품질 평가에서 시음각 수준의 시각 행동의 중요성을 강조하였다.
• 1,000번의 랜덤 데이터베이스 분할에 대한 통계 분석 결과, MFILGN는 BRISQUE 및 BMPRI보다 평균 SROCC 및 PLCC 값이 높고 표준편차가 낮아 우수한 일관성을 보였다.
• 교차 데이터베이스 테스트에서, CVIQD에서 훈련된 MFILGN는 OIQA 데이터베이스로 일반화가 잘 되었으며, SROCC 0.7589와 RMSE 1.3864를 기록하여 MC360IQA 기준선을 능가하였다.