[논문 리뷰] Associations among Image Assessments as Cost Functions in Linear Decomposition: MSE, SSIM, and Correlation Coefficient

Jianji Wang, Nanning Zheng외 2명|arXiv (Cornell University)|2017. 08. 04.

Image and Video Quality Assessment참고 문헌 12인용 수 5

한 줄 요약

이 논문은 이미지 벡터의 선형 분해에서 평균 제곱 오차(MSE), 구조적 유사도(SSIM), 피어슨 상관계수(PCC)를 손실 함수로 사용할 경우 이론적 동치성을 확립한다. 목표 이미지 블록에 대해 어떤 손실 함수를 사용하든 동일한 기저 벡터가 선택되며, MSE 기반 및 SSIM 기반 분해에서의 애핀 매개변수 비율은 추정된 벡터와 목표 벡터 간의 정확히 PCC와 일치한다. 이는 스퍼스 코딩 저장 최적화를 가능하게 한다.

ABSTRACT

The traditional methods of image assessment, such as mean squared error (MSE), signal-to-noise ratio (SNR), and Peak signal-to-noise ratio (PSNR), are all based on the absolute error of images. Pearson's inner-product correlation coefficient (PCC) is also usually used to measure the similarity between images. Structural similarity (SSIM) index is another important measurement which has been shown to be more effective in the human vision system (HVS). Although there are many essential differences among these image assessments, some important associations among them as cost functions in linear decomposition are discussed in this paper. Firstly, the selected bases from a basis set for a target vector are the same in the linear decomposition schemes with different cost functions MSE, SSIM, and PCC. Moreover, for a target vector, the ratio of the corresponding affine parameters in the MSE-based linear decomposition scheme and the SSIM-based scheme is a constant, which is just the value of PCC between the target vector and its estimated vector.

연구 동기 및 목표

• 이미지 벡터의 선형 분해에서 MSE, SSIM, PCC를 손실 함수로 사용할 경우 이론적 관계를 조사하는 것.
• 다른 손실 함수가 주어진 목표 이미지 블록에 대해 동일한 기저 벡터를 선택하는지 확인하는 것.
• MSE 기반 및 SSIM 기반 선형 분해 방법 간의 애핀 매개변수 간의 관계를 분석하는 것.
• 이러한 관계가 스퍼스 코딩에서의 데이터 저장 최적화에 미치는 영향을 탐색하는 것.

제안 방법

• 비영인 분산을 가진 이미지 블록을 가정하여, MSE, SSIM, PCC를 손실 함수로 사용한 선형 분해의 공식 유도.
• 공분산 및 상관계수 구조를 사용하여 MSE 기반 및 SSIM 기반 방법의 애핀 매개변수 방정식 유도.
• 벡터 대수학 및 공분산 행렬을 활용하여 MSE 최소화가 SSIM 최대화 및 PCC 최대화와 관련이 있음을 규명.
• MSE 및 SSIM 방법에서 대응하는 애인 매개변수 간의 상수 비율을 유도하며, 이 비율이 추정된 벡터와 목표 벡터 간의 PCC와 정확히 일치함을 증명.
• MSE 최소화와 |SSIM| 최대화 간의 동치성, 둘 다 |PCC| 최대화와 동치임을 적용.
• 동일한 기저 집합이 다양한 손실 함수에 대해 공통으로 사용됨을 증명하며, 공통된 최적화 조건을 통해 이를 입증.

실험 결과

연구 질문

• RQ1 이미지 벡터의 선형 분해에서 MSE, SSIM, PCC를 손실 함수로 사용할 경우, 주어진 목표 이미지 블록에 대해 동일한 기저 벡터가 선택되는가?
• RQ2 MSE 기반 및 SSIM 기반 선형 분해 방법에서 도출된 애인 매개변수 간에 일관된 수학적 관계가 존재하는가?
• RQ3 선형 이미지 근사의 맥락에서 MSE 최소화가 수학적으로 SSIM 최대화 또는 PCC 최대화와 동치가 될 수 있는가?
• RQ4 피어슨 상관계수(PCC)는 서로 다른 분해 방법 간의 애인 매개변수를 연결하는 데 어떤 역할을 하는가?
• RQ5 이러한 이론적 동치성은 스퍼스 코딩에서의 데이터 저장 최적화에 어떻게 활용될 수 있는가?

주요 결과

• 동일한 목표 벡터에 대해 MSE, SSIM, PCC 기반 분해 방법 모두 동일한 기저 벡터가 선택된다.
• MSE 최소화는 수학적으로 |SSIM| 최대화 및 피어슨 상관계수(PCC)의 절대값 최대화와 동치이다.
• MSE 기반 및 SSIM 기반 분해 방법에서 대응하는 애인 매개변수 간의 비율은 일정하며, 추정된 벡터와 목표 벡터 간의 PCC와 정확히 일치한다.
• 이 일정한 비율 덕분에 서로 다른 방법 간의 애인 매개변수를 직접 변환할 수 있어, 매개변수 이행 및 저장을 단순화할 수 있다.
• 이러한 이론적 동치성은 다수의 손실 함수 표현 간의 중복을 줄임으로써 스퍼스 코딩에서의 데이터 저장 최적화 기반을 제공한다.
• 이 결과는 비영인 분산 이미지 블록을 전제로 하며, SSIM은 작은 상수 ε₁ 및 ε₂를 0으로 설정함으로써 단순화된다.