[논문 리뷰] Subjective and Objective Quality Assessment of Image: A Survey

Pedram Mohammadi, Abbas Ebrahimi-Moghadam외 1명|arXiv (Cornell University)|2014. 06. 30.

Image and Video Quality Assessment참고 문헌 66인용 수 127

한 줄 요약

이 종합 검토는 주관적 및 객관적 이미지 품질 평가(IQA) 방법에 대한 포괄적인 검토를 제공하며, 전체 기준(IQA) 기법에 중점을 두고 있다. 이 연구는 표준 4개 데이터셋에서 9개의 핵심 메트릭—예를 들어 SSIM, VIF, FSIM—을 평가하여 성능과 계산 효율성을 분석하고, HDR 및 3D IQA와 같은 새로운 분야도 소개한다.

ABSTRACT

With the increasing demand for image-based applications, the efficient and reliable evaluation of image quality has increased in importance. Measuring the image quality is of fundamental importance for numerous image processing applications, where the goal of image quality assessment (IQA) methods is to automatically evaluate the quality of images in agreement with human quality judgments. Numerous IQA methods have been proposed over the past years to fulfill this goal. In this paper, a survey of the quality assessment methods for conventional image signals, as well as the newly emerged ones, which includes the high dynamic range (HDR) and 3-D images, is presented. A comprehensive explanation of the subjective and objective IQA and their classification is provided. Six widely used subjective quality datasets, and performance measures are reviewed. Emphasis is given to the full-reference image quality assessment (FR-IQA) methods, and 9 often-used quality measures (including mean squared error (MSE), structural similarity index (SSIM), multi-scale structural similarity index (MS-SSIM), visual information fidelity (VIF), most apparent distortion (MAD), feature similarity measure (FSIM), feature similarity measure for color images (FSIMC), dynamic range independent measure (DRIM), and tone-mapped images quality index (TMQI)) are carefully described, and their performance and computation time on four subjective quality datasets are evaluated. Furthermore, a brief introduction to 3-D IQA is provided and the issues related to this area of research are reviewed.

연구 동기 및 목표

• 기존 이미지, HDR, 3D 이미지에 대한 주관적 및 객관적 이미지 품질 평가(IQA) 방법에 대한 체계적인 검토를 제공하기 위해.
• 표준화된 데이터셋을 통해 널리 사용되는 전체 기준(IQA) 메트릭의 성능과 계산 효율성을 분석하기 위해.
• 고정 동적 범위(HDR) 및 3D 이미지 품질 평가와 같은 신규 분야에서의 주요 과제와 연구 격차를 규명하기 위해.
• 일致한 데이터셋과 성능 메트릭을 사용하여 9개의 주요 IQA 측정법을 비교 평가하기 위해.
• 기존 지식을 통합하고 새로운 IQA 방법의 벤치마킹 기초를 마련하여 향후 연구를 지원하기 위해.

제안 방법

• 전체 기준 접근법에 중점을 두고 주관적 및 객관적 IQA 방법을 조사하고 분류하기 위해.
• 9개의 전체 기준 IQA 메트릭—MSE, SSIM, MS-SSIM, VIF, MAD, FSIM, FSIMC, DRIM, TMQI—을 평가하기 위해.
• 이 메트릭들을 널리 사용되는 4개의 주관적 품질 평가 데이터셋에 적용하여 성능을 비교하기 위해.
• 각 IQA 메트릭의 계산 시간을 측정하고 보고하여 실용적 타당성을 평가하기 위해.
• 3D 이미지 품질 평가에 대한 간략한 개요를 제공하고, 핵심 과제와 현재 연구 방향을 설명하기 위해.
• Spearman의 순위 상관 계수(SROCC)와 피어슨 선형 상관 계수(PLCC)와 같은 표준 성능 측정법을 사용하여 메트릭의 효과성을 평가하기 위해.

실험 결과

연구 질문

• RQ1 다양한 전체 기준 IQA 메트릭은 표준 데이터셋에서 인간의 주관적 품질 평가 판단을 예측하는 데 어떻게 성능을 발휘하는가?
• RQ2 주요 IQA 메트릭의 계산 복잡도는 무엇이며, 실용적 구현에 어떤 영향을 미치는가?
• RQ3 기존 이미지와 비교해 HDR 및 3D 이미지에 IQA 방법를 적용할 때의 주요 차이점과 한계는 무엇인가?
• RQ4 다양한 이미지 콘텐츠와 왜곡 상황에서 인간 인지와 가장 강한 상관관계를 보이는 IQA 메트릭은 무엇인가?
• RQ5 주관적 품질 평가 데이터셋은 다양성, 크기, 신뢰성 측면에서 어떻게 비교 가능한가?

주요 결과

• FSIM 및 FSIMC 메트릭은 인간 인지 예측에 뛰어난 성능을 보였으며, 여러 데이터셋에서 높은 Spearman 순위 상관 계수(SROCC > 0.9)를 기록했다.
• SSIM 및 MS-SSIM는 우수한 성능를 보였지만, 대부분의 데이터셋에서 특히 구조적 왜곡이 있는 이미지에서는 FSIM에 뒤지지 않았다.
• VIF 메트릭은 자연 이미지 품질 평가에서 특히 높은 상관관계를 보였지만, 계산 비용이 더 높았다.
• MSE는 비균일 왜곡이 있는 이미지에서 인간 인지와의 일치도가 낮아, 그 인지적 관련성이 제한됨을 확인했다.
• DRIM 및 TMQI는 HDR 및 톤맵핑된 이미지에서 경쟁적인 성능를 보였으며, 고정 동적 범위 품질 평가에 적합함을 시사했다.
• 계산 시간은 상당한 차이를 보였으며, FSIM 및 SSIM는 비교적 빠른 편이었고, VIF 및 MS-SSIM는 다중 척도 및 정보 이론 기반 계산으로 인해 더 많은 처리 시간이 소요되었다.