[논문 리뷰] Understanding SSIM

Jim Nilsson, Tomas Akenine‐Möller|arXiv (Cornell University)|2020. 06. 24.

Image and Video Quality Assessment인용 수 47

한 줄 요약

본 논문은 구조적 유사도 지수(SSIM)를 비판적으로 분석하여 직관에 어긋나고 정의되지 않으며 지각적으로 불일치하는 행태를 드러내고, 이미지 품질 평가 및 심층 학습 손실에서 신중한 사용 또는 대체를 주장한다.

ABSTRACT

The use of the structural similarity index (SSIM) is widespread. For almost two decades, it has played a major role in image quality assessment in many different research disciplines. Clearly, its merits are indisputable in the research community. However, little deep scrutiny of this index has been performed. Contrary to popular belief, there are some interesting properties of SSIM that merit such scrutiny. In this paper, we analyze the mathematical factors of SSIM and show that it can generate results, in both synthetic and realistic use cases, that are unexpected, sometimes undefined, and nonintuitive. As a consequence, assessing image quality based on SSIM can lead to incorrect conclusions and using SSIM as a loss function for deep learning can guide neural network training in the wrong direction.

연구 동기 및 목표

• SSIM의 수학적 형식 및 일반적인 단순화의 검토.
• SSIM 구성요소(luminance, contrast, structure)의 지각적 기초와 한계 조사.
• SSIM이 직관에 반하거나 정의되지 않는 결과를 내는 시나리오 식별.
• 회색조 및 컬러 이미지에서의 SSIM 성능과 서로 다른 해상도 및 왜곡에서의 성능 평가.
• 비전 과제에서의 품질 지표 및 학습 목표로서의 SSIM 사용에 대한 함의 논의.

제안 방법

• 원래의 SSIM 방정식과 단순화된 MSSIM 형태를 제시한다.
• SSIM 구성요소의 최소값을 도출하여 범위와 잠재적 비직관적 동작을 보인다.
• 해상도에 걸쳐 일정한 그레이스케일, 컬러 이미지 및 그라데이션/미러링 케이스에서의 SSIM 동작을 검토한다.
• SSIM 구성요소에서 음수를 비정수 거듭제곱으로 올렸을 때 정의되지 않는 결과의 가능성을 분석한다.
• 합성 및 실제 이미지 예제를 사용하여 SSIM 동작과 인간 지각 비교한다.
• 렌더링 및 비전 시스템에서의 메트릭 및 손실 함수로서의 SSIM의 함의를 논의한다.

실험 결과

연구 질문

• RQ1 일반 매개변수 선택하에서 SSIM 구성요소(l, c, s)의 수학적 특성 및 범위는 무엇인가?
• RQ2 SSIM이 실제 또는 합성 이미지 페어에서 직관에 반하거나 정의되지 않는 결과를 낼 수 있는가, 그리고 이것이 지각적 유사성과 어떤 관련이 있는가?
• RQ3 컬러 입력과 그레이스케일 입력, 그리고 잡음, 디워핑, 에지, 조명 등 다양한 왜곡에서 SSIM은 어떻게 동작하는가?
• RQ4 SSIM이 인간 시각 지각과 어느 정도 일치하는지, 그리고 딥러닝 손실에서의 SSIM 사용에 대한 함의는 무엇인가?
• RQ5 렌더링 품질 평가 및 기계 학습 파이프라인에서 SSIM 사용 시 채택해야 할 대안이나 주의점은 무엇인가?

주요 결과

• SSIM은 특정 입력 및 매개변수 설정에서 비직관적이고 심지어 정의되지 않는 결과를 낼 수 있다.
• l 성분은 휘도 변화에 매우 민감할 수 있어 밝기 수준에 따라 인간 지각과 불일치할 수 있다.
• 그레이스케일 변환을 통해 처리된 컬러 이미지는 오도하는 SSIM 값을 생성할 수 있어 색상 의존 메트릭이 바람직하다는 시사점이 있다.
• 에지와 그라디언트는 지각 차이와 일치하지 않는 높은 SSIM 추론을 야기할 수 있으며, 음수 s 값은 비정수 거듭제곱으로 올려질 때 복잡한 결과를 가져올 수 있다.
• l, c, s의 SSIM 최소값은 상황에 따라 다른 한계를 보이며 순수하게 지각 기반 지수라는 주장에 도전한다.
• SSIM과 MSE/PSNR의 관계는 미묘하며 특정 조건에서 SSIM*가 MSE*와 연결되는 수학적 변환의 증거가 있다.