[論文レビュー] Subjective and Objective Quality Assessment of Image: A Survey

Pedram Mohammadi, Abbas Ebrahimi-Moghadam+1 more|arXiv (Cornell University)|Jun 30, 2014

Image and Video Quality Assessment参考文献 66被引用数 127

ひとこと要約

本調査は、完全参照IQA技術に焦点を当て、主観的および能動的画像品質評価（IQA）手法について包括的なレビューを提供する。9つの主要な指標（例：SSIM、VIF、FSIM）を4つの標準データセットで評価し、その性能と計算効率を分析するとともに、HDRおよび3D IGAの分野のような新興分野も紹介する。

ABSTRACT

With the increasing demand for image-based applications, the efficient and reliable evaluation of image quality has increased in importance. Measuring the image quality is of fundamental importance for numerous image processing applications, where the goal of image quality assessment (IQA) methods is to automatically evaluate the quality of images in agreement with human quality judgments. Numerous IQA methods have been proposed over the past years to fulfill this goal. In this paper, a survey of the quality assessment methods for conventional image signals, as well as the newly emerged ones, which includes the high dynamic range (HDR) and 3-D images, is presented. A comprehensive explanation of the subjective and objective IQA and their classification is provided. Six widely used subjective quality datasets, and performance measures are reviewed. Emphasis is given to the full-reference image quality assessment (FR-IQA) methods, and 9 often-used quality measures (including mean squared error (MSE), structural similarity index (SSIM), multi-scale structural similarity index (MS-SSIM), visual information fidelity (VIF), most apparent distortion (MAD), feature similarity measure (FSIM), feature similarity measure for color images (FSIMC), dynamic range independent measure (DRIM), and tone-mapped images quality index (TMQI)) are carefully described, and their performance and computation time on four subjective quality datasets are evaluated. Furthermore, a brief introduction to 3-D IQA is provided and the issues related to this area of research are reviewed.

研究の動機と目的

• 従来の画像、HDR、3D画像の主観的および能動的画像品質評価（IQA）手法について体系的なレビューを提供すること。
• 標準化されたデータセットを用いて、広く用いられる完全参照IQA指標の性能と計算効率を分析すること。
• 高動的範囲（HDR）および3D画像品質評価といった新興IQA分野における主な課題と研究ギャップを特定すること。
• 一貫したデータセットと性能指標を用いて、9つの代表的なIQA指標を比較評価すること。
• 既存の知識を統合し、新しいIQA手法のベンチマーク作成の基盤を構築することで、今後の研究を支援すること。

提案手法

• 完全参照アプローチに重点を置き、主観的および能動的IQA手法を調査・分類すること。
• 9つの完全参照IQA指標（MSE、SSIM、MS-SSIM、VIF、MAD、FSIM、FSIMC、DRIM、TMQI）を評価すること。
• 4つの広く用いられている主観的品質評価データセットにこれらの指標を適用し、性能を比較すること。
• 各IQA指標の計算時間の測定と報告を行い、実用的妥当性を評価すること。
• 3D画像品質評価の簡単な概要を提供し、主な課題と現在の研究動向を提示すること。
• Spearmanの順位相関係数（SROCC）やPearsonの線形相関係数（PLCC）といった標準的な性能指標を用いて、指標の有効性を評価すること。

実験結果

リサーチクエスチョン

• RQ1 異なる完全参照IQA指標は、標準データセットにおいて人間の主観的品質判断をどの程度正しく予測できるか？
• RQ2 代表的なIQA指標の計算複雑性は何か。また、それが実用的展開にどのように影響するか？
• RQ3 従来の画像と比較して、高動的範囲（HDR）および3D画像へのIQA手法の適用における主な違いと制限は何か？
• RQ4 多様な画像コンテンツと歪みに対して、人間の知覚と最も強い相関を示すIQA指標は何か？
• RQ5 主観的品質評価データセットは、多様性、サイズ、信頼性の観点から、IQAアルゴリズムのベンチマークにどの程度適しているか？

主な発見

• FSIMおよびFSIMC指標は、人間の知覚を予測する上で優れた性能を示し、複数のデータセットで高いSpearman順位相関係数（SROCC > 0.9）を達成した。
• SSIMおよびMS-SSIMは強力な性能を示したが、構造的歪みを含む画像ではFSIMに劣ることが多かった。
• VIF指標は、特に自然画像品質評価において高い相関を示したが、計算コストが高かった。
• MSEは、非一様な歪みを含む画像において人間の知覚と一致しなく、その知覚的関連性が限定的であることが確認された。
• DRIMおよびTMQIはHDRおよびトーンマップ画像において競争力のある性能を示し、高動的範囲品質評価に適していることが示唆された。
• 計算時間には顕著な差が見られ、FSIMおよびSSIMは比較的高速であった一方、VIFおよびMS-SSIMはマルチスケールおよび情報理論的計算のため、より長い処理時間を要した。