[논문 리뷰] Contrast and visual saliency similarity induced index for image quality assessment.

Huizhen Jia, Tonghan Wang|arXiv (Cornell University)|2017. 08. 22.

Image and Video Quality Assessment참고 문헌 21인용 수 4

한 줄 요약

이 논문은 인간의 시각 인식을 예측하기 위해 局소 대trast와 전반적 시각적 주목도 특징을 조합한 새로운 이미지 품질 평가(IQA) 지표를 제안한다. 대trast와 주목도 품질 맵의 가중 표준편차를 계산하여, 세 가지 벤치마크 데이터셋에서 인간 평가와 높은 상관관계를 달성하면서도 계산 효율성을 유지한다.

ABSTRACT

Perceptual image quality assessment (IQA) defines/utilizes a computational model to assess the image quality in consistent with human opinions. A good IQA model should consider both the effectiveness and efficiency, while most previous IQA models are hard to reach simultaneously. So we attempt to make another effort to develop an effective and efficiency image quality assessment metric. Considering that contrast is a distinctive visual attribute that indicates the quality of an image, and visual saliency (VS) attracts the most attention of the human visual system, the proposed model utilized these two features to characterize the image local quality. After obtaining the local contrast quality map and global visual saliency quality map, we add the weighted standard deviation of the previous two quality maps together to yield the final quality score. The experimental results on three benchmark database (LIVE, TID2008, CSIQ) showed that the proposed model yields the best performance in terms of the correlation with human judgments of visual quality. Furthermore, it is more efficient when compared with other competing IQA models.

연구 동기 및 목표

• 기존 IQA 방법의 핵심 한계를 해결하고 효과성과 효율성을 균형 잡은 이미지 품질 평가 모델을 개발한다.
• 대trast와 시각적 주목도—두 가지 핵심 시각적 특징—를 활용하여 국소 및 전반적 이미지 품질 인식을 모델링하는 데 핵심 기능으로 삼는다.
• 다양한 이미지 품질 데이터베이스에서 계산된 품질 점수와 인간의 주관적 평가 간 상관관계를 향상시킨다.
• 기존 최첨단 IQA 방법들과 비교해 제안된 모델이 계산 효율성을 유지함을 보장한다.

제안 방법

• 이 방법은 이미지 전반에 걸쳐 픽셀 단위의 대trast 변화를 분석하여 국소 대trast 품질 맵을 계산한다.
• 인간 시각 시스템에서 가장 많은 주목을 받는 영역을 식별함으로써 전반적 시각적 주목도 품질 맵을 생성한다.
• 국소 대trast와 전반적 주목도 품질 맵이라는 두 가지 품질 맵을 가중 표준편차 연산을 통해 융합하여 최종 품질 점수를 산출한다.
• 표준편차 계산에서의 가중치는 가장 시각적으로 관련성이 높은 이미지 영역을 강조하도록 최적화된다.
• 모델은 LIVE, TID2008, CSIQ 세 가지 벤치마크 데이터베이스에서 훈련 및 검증된다.
• 성능 평가는 인간의 평가 점수와의 표준 상관관계 지표(예: PLCC, SROCC)를 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 국소 대trast와 전반적 시각적 주목도 특징을 융합함으로써 이미지 품질 평가 모델의 정확도를 향상시킬 수 있는가?
• RQ2 기존의 IQA 모델들과 비교해 표준 벤치마크 데이터셋에서 성능과 효율성 측면에서 어떻게 성과를 내는가?
• RQ3 대trast와 주목도 품질 맵의 가중 표준편차가 인간의 시각적 판단과의 상관관계를 얼마나 향상시키는가?
• RQ4 제안된 모델은 뛰어난 성능을 달성하면서도 높은 효율성을 유지하는가?

주요 결과

• 제안된 IQA 모델은 LIVE, TID2008, CSIQ 벤치마크 데이터베이스에서 인간 주관적 평가와 가장 높은 상관관계를 달성한다.
• 경쟁 모델들과 비교해 스피어만 순서상관관계(SROCC)와 피어슨 선형상관계계수(PLCC) 양면에서 뛰어난 성능을 보인다.
• 기존 최첨단 IQA 모델들보다 높은 계산 효율성을 보이며, 실시간 응용에 적합하다.
• 대trast와 시각적 주목도 특징의 통합은 모델이 시각적 품질 퇴화를 예측하는 능력을 크게 향상시킨다.
• 두 품질 맵의 가중 표준편차는 단순 평균화나 다른 융합 전략보다 효과적으로 인지적 품질 퇴화를 포착한다.