[논문 리뷰] Structural Similarity Index SSIMplified: Is there really a simpler concept at the heart of image quality measurement?

Kieran G. Larkin|arXiv (Cornell University)|2015. 01. 29.

Image and Video Quality Assessment인용 수 6

한 줄 요약

이 논문은 구조적 유사도 지수(SSIM)를 인지적으로 가림된 노이즈 가시성 함수(NVF)로 재해석하여, 기존에 생각했던 것보다 핵심 메커니즘이 본질적으로 더 단순하다는 것을 드러낸다. 대칭-반대칭 분해를 통해 SSIM을 재구성함으로써 저자들은 이것이 정규화된 오차 가시성 지표로 축소됨을 보여주며, 이를 '이질성 몫(DQ)'이라 명명한다. 이 DQ는 인간 관찰자 점수와 거의 선형적으로 상관되며 시그모이드 피팅이 필요로 하지 않아, NVF 또는 DQ가 SSIM보다 더 엄밀하고 최소한의 대안임을 시사한다.

ABSTRACT

The Structural Similarity Index (SSIM) is generally considered to be a milestone in the recent history of Image Quality Assessment (IQA). Alas, SSIM's accepted development from the product of three heuristic factors continues to obscure it's real underlying simplicity. Starting instead from a symmetric-antisymmetric reformulation we first show SSIM to be a contrast or visibility function in the classic sense. Furthermore, the previously enigmatic structural covariance is revealed to be the difference of variances. The second step, eliminating the intrinsic quadratic nature of SSIM, allows a near linear correlation with human observer scores, and without invoking the usual, but arbitrary, sigmoid model fitting. We conclude that SSIM can be re-interpreted in terms of perceptual masking: it is essentially equivalent to a normalised error or noise visibility function (NVF), and, furthermore, the NVF alone explains it success in modelling perceptual image quality. We use the term Dissimilarity Quotient (DQ) for the specifically anti/symmetric SSIM derived NVF. It seems that IQA researchers may now have two choices: 1) Continue to use the complex SSIM formula, but noting that SSIM only works coincidentally since the covariance term is actually the mean square error (MSE) in disguise. 2) Use the simplest of all perceptually-masked image quality metrics, namely NVF or DQ. On this choice Occam is clear: in the absence of differences in predictive ability, the fewer assumptions that are made, the better.

연구 동기 및 목표

• 전통적인 SSIM 공식에 의해 가려진 본질적 단순성을 드러내는 것.
• SSIM의 성공이 복잡한 히우리스틱 요소들의 곱에 기인한다는 가정을 도전하는 것.
• SSIM의 구조적 공분산이 분산의 차이와 수학적으로 동일하다는 것을 보여주는 것.
• 인간 관찰자 성능을 설명하기 위해 임의의 피팅 없이도 NVF 또는 DQ가 SSIM의 인지적 성공을 설명할 수 있다는 것을 보여주는 것.
• 이미지 품질 평가에서 SSIM 대신 NVF 또는 DQ를 사용할 것을 주장하는 것 — 더 단순하고 해석 가능하며 동일한 성능을 보이는 대안으로서.

제안 방법

• 대칭 및 반대칭 성분을 사용하여 SSIM을 재구성함으로써 그 내재된 수학적 구조를 드러내는 것.
• SSIM의 구조적 공분산이 분산의 차이와 수학적으로 동일하다는 것을 유도하는 것.
• SSIM의 제곱성질을 제거하기 위해 정규화된 오차 가시성 함수(NVF)로 재정의하는 것.
• 비대칭 성분에서 유도된 Dissimilarity Quotient(DQ)를 도입하여, 직접적으로 인지적 가림을 표현하는 것.
• DQ가 인간 관찰자 점수와 거의 선형적으로 상관됨을 보여주어 시그모이드 피팅이 필요 없음을 입증하는 것.
• 이론적 분해와 대수적 변환을 통해 SSIM이 사실상 가려진 오차 지표임을 보여주는 것.

실험 결과

연구 질문

• RQ1 SSIM 지표의 배경에 더 단순하고 해석 가능한 기초가 존재하는가?
• RQ2 SSIM의 구조적 공분산 항을 더 기본적인 수학적 형태로 재표현할 수 있는가?
• RQ3 인간 인지 모델링에서 SSIM의 성공이 복잡한 곱의 구조가 아니라 정규화된 오차 가시성 함수에 기인하는가?
• RQ4 인지적으로 가려진 오차 지표를 사용함으로써 시그모이드 피팅 없이도 인간 점수와 선형 상관을 달성할 수 있는가?
• RQ5 이질성 몫(DQ)은 SSIM보다 더 엄밀하고 최소한의 대안인가?

주요 결과

• SSIM은 수학적으로 정규화된 오차 가시성 함수(NVF)와 동일하며, 그 진정한 인지적 기반을 드러낸다.
• SSIM의 구조적 공분산은 대수적으로 분산의 차이와 동일하며, 복잡한 구조적 측정이 아니라는 것을 보여준다.
• 비대칭 성분에서 유도된 이질성 몫(DQ)은 인간 관찰자 점수와 거의 선형적으로 상관된다.
• NVF 또는 DQ 공식은 일반적으로 인간 데이터에 캘리브레이션하기 위해 사용되는 임의의 시그모이드 피팅이 필요 없음을 제거한다.
• 논문은 DQ 또는 NVF가 SSIM보다 더 단순하고 해석 가능하며 동일한 효과를 보이는 대안임을 결론 내린다.
• 성능 차이가 없을 경우 오카머의 면도날 원칙은 복잡한 SSIM 공식 대신 DQ의 사용을 지지한다.