[論文レビュー] Contrast and visual saliency similarity induced index for image quality assessment.

Huizhen Jia, Tonghan Wang|arXiv (Cornell University)|Aug 22, 2017

Image and Video Quality Assessment参考文献 21被引用数 4

ひとこと要約

本論文は、画像品質評価（IQA）のための新規メトリックを提案する。このメトリックは、局所的コントラストとグローバルな視覚的注目度の特徴を組み合わせ、人間の画像品質への認識を予測する。コントラストと注目度の品質マップの重み付き標準偏差を計算することで、3つのベンチマークデータセットにおいて人間の判断と高い相関を示すとともに、計算効率も維持している。

ABSTRACT

Perceptual image quality assessment (IQA) defines/utilizes a computational model to assess the image quality in consistent with human opinions. A good IQA model should consider both the effectiveness and efficiency, while most previous IQA models are hard to reach simultaneously. So we attempt to make another effort to develop an effective and efficiency image quality assessment metric. Considering that contrast is a distinctive visual attribute that indicates the quality of an image, and visual saliency (VS) attracts the most attention of the human visual system, the proposed model utilized these two features to characterize the image local quality. After obtaining the local contrast quality map and global visual saliency quality map, we add the weighted standard deviation of the previous two quality maps together to yield the final quality score. The experimental results on three benchmark database (LIVE, TID2008, CSIQ) showed that the proposed model yields the best performance in terms of the correlation with human judgments of visual quality. Furthermore, it is more efficient when compared with other competing IQA models.

研究の動機と目的

• 既存のIQA手法における主な制限に対処しつつ、効果性と効率性のバランスが取れた画像品質評価モデルの開発を目的とする。
• 局所的およびグローバルな画像品質認識をモデル化するためのコア特徴として、コントラストと視覚的注目度の2つの重要な視覚的特徴を活用することを目的とする。
• 多様な画像品質データベースにおいて、計算上の品質スコアと人間の主観的判断との相関を向上させることを目的とする。
• 提案されたモデルが、既存の最先端IQA手法と比較して計算的にも効率的であることを保証することを目的とする。

提案手法

• 本手法は、画像全体にわたる画素単位のコントラスト変動を分析することで、局所的コントラスト品質マップを計算する。
• 人間視覚系で最も注目を惹く領域を特定することで、グローバルな視覚的注目度品質マップを生成する。
• 得られた2つの品質マップ（局所的コントラストとグローバルな視覚的注目度）を、重み付き標準偏差演算を用いて統合し、最終的な品質スコアを生成する。
• 標準偏差計算における重みは、最も知覚的に関連性の高い画像領域を強調するように最適化されている。
• モデルは、LIVE、TID2008、CSIQの3つのベンチマークデータベース上で訓練および検証されている。
• 性能評価は、人間の評価スコアとの間で標準的な相関指標（例：PLCC、SROCC）を用いて実施されている。

実験結果

リサーチクエスチョン

• RQ1 局所的コントラストとグローバルな視覚的注目度の特徴を組み合わせることで、画像品質評価モデルの精度が向上するか？
• RQ2 標準ベンチマークデータセット上で、既存のIQAモデルと比較して、本手法の性能と効率性はどの程度か？
• RQ3 コントラストと注目度の品質マップの重み付き標準偏差は、人間の視覚的判断との相関をどの程度向上させるか？
• RQ4 提案されたモデルは、優れた性能を達成しつつも、計算効率を維持しているか？

主な発見

• 提案されたIQAモデルは、LIVE、TID2008、CSIQの3つのベンチマークデータベースにおいて、人間の主観的判断と最高の相関を示した。
• 他の手法と比較して、スピアマン順位相関係数（SROCC）およびピアソン積率相関係数（PLCC）の両方において優れた性能を示した。
• 他の最先端IQAモデルと比較して、計算効率が高く、リアルタイム応用に適している。
• コントラストと視覚的注目度の特徴の統合により、知覚的画像品質の予測能力が著しく向上した。
• 2つの品質マップの重み付き標準偏差は、単純な平均化や他の統合戦略よりも、知覚的品質劣化を効果的に捉えており、優れた性能を発揮した。