[論文レビュー] Structural Similarity Index SSIMplified: Is there really a simpler concept at the heart of image quality measurement?

Kieran G. Larkin|arXiv (Cornell University)|Jan 29, 2015

Image and Video Quality Assessment被引用数 6

ひとこと要約

この論文は、構造的類似度指数（SSIM）を知覚的にマスクされたノイズ可視性関数（NVF）として再解釈し、そのコアメカニズムが従来の考えよりも根本的に単純であることを明らかにする。対称・反対称分解を用いてSSIMを再定式化することで、著者らはそれが正規化された誤差可視性指標に還元されることを示し、これを「不一致係数（DQ）」と呼ぶ。DQは人間の観察者スコアとほぼ線形に相関し、シグモイド適合を必要としない。これは、NVFまたはDQがSSIMよりもより原理的かつ最小限の代替手段である可能性を示唆している。

ABSTRACT

The Structural Similarity Index (SSIM) is generally considered to be a milestone in the recent history of Image Quality Assessment (IQA). Alas, SSIM's accepted development from the product of three heuristic factors continues to obscure it's real underlying simplicity. Starting instead from a symmetric-antisymmetric reformulation we first show SSIM to be a contrast or visibility function in the classic sense. Furthermore, the previously enigmatic structural covariance is revealed to be the difference of variances. The second step, eliminating the intrinsic quadratic nature of SSIM, allows a near linear correlation with human observer scores, and without invoking the usual, but arbitrary, sigmoid model fitting. We conclude that SSIM can be re-interpreted in terms of perceptual masking: it is essentially equivalent to a normalised error or noise visibility function (NVF), and, furthermore, the NVF alone explains it success in modelling perceptual image quality. We use the term Dissimilarity Quotient (DQ) for the specifically anti/symmetric SSIM derived NVF. It seems that IQA researchers may now have two choices: 1) Continue to use the complex SSIM formula, but noting that SSIM only works coincidentally since the covariance term is actually the mean square error (MSE) in disguise. 2) Use the simplest of all perceptually-masked image quality metrics, namely NVF or DQ. On this choice Occam is clear: in the absence of differences in predictive ability, the fewer assumptions that are made, the better.

研究の動機と目的

• 従来のSSIMの定式化に隠された、その本質的な単純さを明らかにすること。
• SSIMの成功が、ヒューリスティック要因の複雑な積に起因するとする仮定に疑問を呈すること。
• SSIMの構造的共分散が、分散の差に数学的に等価であることを示すこと。
• 人間の観察者スコアに適合させるために任意のフィッティングを必要とせず、SSIMの知覚的成功を説明する正規化誤差可視性関数（NVF）または不一致係数（DQ）の有効性を示すこと。
• 画像品質評価におけるSSIMの代替手段として、NVFまたはDQの使用を提唱すること。

提案手法

• 対称および反対称成分を用いてSSIMを再定式化し、その背後にある数学的構造を露呈すること。
• SSIMにおける構造的共分散が、数学的に分散の差に等価であることを導出すること。
• SSIMの2次性を解消するために、正規化誤差可視性関数（NVF）として再定義すること。
• 不一致係数（DQ）を、SSIMの反対称的・対称的形として導入し、知覚的マスキングを直接表現すること。
• DQが人間の観察者スコアとほぼ線形に相関することを実証し、シグモイド適合の必要性を回避すること。
• 理論的分解と代数的変形を用いて、SSIMが実際には隠れたマスク誤差指標であることを示すこと。

実験結果

リサーチクエスチョン

• RQ1 SSIMの背後には、より単純かつ解釈可能な基礎が存在するか？
• RQ2 SSIMにおける構造的共分散項は、より基本的な数学的形に再表現可能か？
• RQ3 人間の知覚をモデル化するSSIMの成功は、複雑な積構造ではなく、正規化誤差可視性関数に起因するのか？
• RQ4 知覚的にマスクされた誤差指標を用いることで、シグモイド適合を必要とせずに人間スコアとの線形相関を達成できるか？
• RQ5 不一致係数（DQ）は、SSIMよりもより原理的かつ最小限の代替手段であるか？

主な発見

• SSIMは数学的に正規化誤差可視性関数（NVF）に等価であり、その真の知覚的根拠が明らかになる。
• SSIMにおける構造的共分散は代数的に分散の差に等価であり、複雑な構造的測度ではない。
• 反対称成分から導出された不一致係数（DQ）は、人間の観察者スコアとほぼ線形に相関する。
• NVFまたはDQの定式化により、通常SSIMの人のデータへの適合に用いられる任意のシグモイド適合の必要性が排除される。
• 本論文は、DQまたはNVFがSSIMよりも単純で解釈可能であり、同等の効果を持つ代替手段であると結論づける。
• 性能差がなければ、DQを複雑なSSIM式よりも優先すべきであるというオッカムの剃刀の原則が支持される。