[論文レビュー] Understanding SSIM

Jim Nilsson, Tomas Akenine‐Möller|arXiv (Cornell University)|Jun 24, 2020

Image and Video Quality Assessment被引用数 47

ひとこと要約

この論文は Structural Similarity Index (SSIM) を批判的に分析し、直感に反する、未定義、知覚的に不整合な挙動を明らかにし、画像品質評価と深層学習の損失関数としての慎重な使用または置換を主張します。

ABSTRACT

The use of the structural similarity index (SSIM) is widespread. For almost two decades, it has played a major role in image quality assessment in many different research disciplines. Clearly, its merits are indisputable in the research community. However, little deep scrutiny of this index has been performed. Contrary to popular belief, there are some interesting properties of SSIM that merit such scrutiny. In this paper, we analyze the mathematical factors of SSIM and show that it can generate results, in both synthetic and realistic use cases, that are unexpected, sometimes undefined, and nonintuitive. As a consequence, assessing image quality based on SSIM can lead to incorrect conclusions and using SSIM as a loss function for deep learning can guide neural network training in the wrong direction.

研究の動機と目的

• SSIM の数学的定式化とその一般的な簡略化を検討する。
• SSIM 成分（luminance、contrast、structure）の知覚的基盤と限界を調査する。
• SSIM が直感に反するまたは未定義の結果を生じさせる状況を特定する。
• グレースケールおよびカラー画像での SSIM の性能を、解像度や歪みの異なる状況で評価する。
• 視覚タスクにおける品質指標および学習目的としての SSIM の使用に関する含意を論じる。

提案手法

• 元の SSIM 方程式と簡略化された MSSIM 形を提示する。
• SSIM 成分の最小値を導出して、その範囲と潜在的な直感に反する挙動を示す。
• 定常グレースケール、カラー画像、解像度を跨ぐ勾配/ミラーケースの SSIM の挙動を調べる。
• SSIM 成分で負の値を非整数べき乗にする場合の未定義な結果の可能性を分析する。
• 合成画像と実画像の例を用いて、人間の知覚と SSIM の挙動を比較する。
• レンダリングと視覚システムにおける指標および損失関数としての SSIM の含意を論じる。

実験結果

リサーチクエスチョン

• RQ1 SSIM の成分（l、c、s）の数学的性質と一般的なパラメータ選択の範囲は何か。
• RQ2 SSIM は実画像対合成画像で直感に反するまたは未定義な結果を生じることがあり得るか。これは知覚的類似性とどう関連するか。
• RQ3 カラー入力とグレースケール入力、さまざまな歪み（ノイズ、ディザリング、エッジ、照明）で SSIM はどのように振る舞うか。
• RQ4 SSIM は人間の視覚知覚とどの程度一致しており、深層学習の損失として使用する際の含意は何か。
• RQ5 レンダリング品質評価および機械学習パイプラインで SSIM を使用する際に取るべき代替案や注意点は何か。

主な発見

• SSIM は特定の入力やパラメータ設定で直感に反する、あるいは未定義の結果を生み出すことがある。
• l 成分は輝度変化に高く敏感で、輝度レベルをまたぐ知覚と合致しない可能性がある。
• カラー画像をグレースケール変換で処理すると誤解を招く SSIM 値を生成する可能性があり、カラー対応の指標が望ましいことを示唆する。
• エッジと勾配は知覚的差と合致しない SSIM の高推定を引き起こす可能性があり、負の s 値は非整数べき乗で複雑な結果を生む可能性がある。
• l、c、s の SSIM 最小値は状況依存の制限を示し、 strictly perception-based な指標という主張に挑戦する。
• SSIM と MSE/PSNR の関係は微妙で、特定の条件下で SSIM* と MSE* を結ぶ数学的変換の証拠がある。