[논문 리뷰] Evaluating the Performance of Existing Full-Reference Quality Metrics on High Dynamic Range (HDR) Video Content

Maryam Azimi, Amin Banitalebi-Dehkordi외 3명|arXiv (Cornell University)|2018. 03. 13.

Image Enhancement Techniques인용 수 26

한 줄 요약

이 연구는 다양한 왜곡, 밝기 수준, 운동 성분을 포함한 새로 제작된 HDR 영상 데이터셋을 사용하여 기존의 전반 참조 영상 품질 측정 기준을 고정된 동적 범위(HDR) 콘텐츠에서 평가한다. 연구 결과, 주관적 품질 평가와 가장 높은 상관관계를 보인 것은 시각적 정보 허점(VIF) 측정 기준이며, 이는 다른 LDR 및 HDR 전용 측정 기준보다 뛰어난 성능을 보였다.

ABSTRACT

While there exists a wide variety of Low Dynamic Range (LDR) quality metrics, only a limited number of metrics are designed specifically for the High Dynamic Range (HDR) content. With the introduction of HDR video compression standardization effort by international standardization bodies, the need for an efficient video quality metric for HDR applications has become more pronounced. The objective of this study is to compare the performance of the existing full-reference LDR and HDR video quality metrics on HDR content and identify the most effective one for HDR applications. To this end, a new HDR video dataset is created, which consists of representative indoor and outdoor video sequences with different brightness, motion levels and different representing types of distortions. The quality of each distorted video in this dataset is evaluated both subjectively and objectively. The correlation between the subjective and objective results confirm that VIF quality metric outperforms all to ther tested metrics in the presence of the tested types of distortions.

연구 동기 및 목표

• 고정된 동적 범위(HDR) 영상 콘텐츠에서 기존의 전반 참조 품질 측정 기준의 성능을 평가하는 것.
• 주관적 품질 평가와의 비교를 통해 HDR 응용 분야에서 가장 효과적인 측정 기준을 특정하는 것.
• 다양한 왜곡, 밝기, 운동 성분을 포함한 대표성 있는 HDR 영상 데이터셋을 구축하여 품질 측정 기준의 기준 테스트를 위한 기반을 마련하는 것.
• HDR 영상 압축 표준화가 진행됨에 따라 LDR 측정 기준이 HDR 콘텐츠에 적합한지 평가하는 것.

제안 방법

• 실내 및 실외 시퀀스를 포함한 새로운 HDR 영상 데이터셋을 제작하였으며, 밝기, 운동, 왜곡 유형에 대해 제어된 변화를 포함시켰다.
• 각 영상 시퀀스는 실제 환경에서의 손상 요인을 시뮬레이션하기 위해 일반적인 종류의 왜곡으로 열화시켰다.
• 기준화된 평균 의견 점수(MOS) 테스트를 통해 주관적 품질 평가를 실시하여 기준 품질 점수를 확보하였다.
• VIF, SSIM, PSNR 및 HDR 전용 측정 기준을 포함한 객관적 품질 측정 기준을 열화된 영상에 적용하여 객관적 품질 점수를 생성하였다.
• 주관적 MOS 점수와 객관적 측정 기준 점수 간의 상관관계를 스피어만의 순위 상관계수를 사용하여 계산하였다.
• 각 측정 기준의 성능은 모든 테스트 시퀀스에서 주관적 평가와의 상관관계 강도를 기반으로 평가되었다.

실험 결과

연구 질문

• RQ1 어느 전반 참조 품질 측정 기준이 HDR 영상 콘텐츠에서 주관적 품질 평가와 가장 높은 상관관계를 보이는가?
• RQ2 기존의 LDR 품질 측정 기준은 다양한 종류의 왜곡을 가진 HDR 영상에 적용되었을 때 어떻게 성능을 발휘하는가?
• RQ3 영상 콘텐츠의 동적 범위가 기존 품질 측정 기준의 신뢰성에 어느 정도 영향을 미치는가?
• RQ4 다양한 왜곡 조건 하에서 기존 HDR 전용 품질 측정 기준이 LDR 기준을 능가할 수 있는가?

주요 결과

• 모든 테스트된 왜곡에서 시각적 정보 허점(VIF) 측정 기준이 주관적 품질 점수와 가장 높은 스피어만의 순위 상관계수를 기록하였다.
• VIF는 HDR 데이터셋에서 일관성과 정확성 측면에서 평가된 모든 다른 측정 기준, 즉 HDR 전용 및 LDR 기반 측정 기준을 모두 능가하였다.
• 기존의 LDR 기준인 PSNR 및 SSIM은 HDR 콘텐츠에서 주관적 의견과 상당히 낮은 상관관계를 보였다.
• 모든 측정 기준의 성능은 왜곡 유형에 민감했으며, VIF는 다양한 조건에서도 강력한 성능을 유지하였다.
• 본 연구는 VIF가 테스트 조건 하에서 HDR 영상 품질 평가에 가장 강력한 측정 기준임을 확인하였다.
• 새로 제작된 HDR 영상 데이터셋은 콘텐츠와 왜곡 유형의 다양성 덕분에 향후 품질 측정 기준의 기준 테스트에 효과적이다.