[論文レビュー] The Effect of Distortions on the Prediction of Visual Attention

Milind S. Gide, Samuel Dodge+1 more|arXiv (Cornell University)|Apr 13, 2016

Visual Attention and Saliency Detection参考文献 13被引用数 7

ひとこと要約

本論文は、歪みのある画像における20種類の最先端視覚的注意（VA）モデルの評価を実施し、既存の指標（例：SAUC）の限界を克服するため、SNSS、SSKLD、SJSD、SEMDの4つの新しいロバストな性能指標を導入した。歪みの程度が中程度から高い場合、VAモデルの性能は向上する傾向にあり、画像の複雑さが増すと性能が低下することが判明した。特にSJSDは、歪みの種別や程度に関わらず最も一貫性のある指標として浮き彫りになった。

ABSTRACT

Existing saliency models have been designed and evaluated for predicting the saliency in distortion-free images. However, in practice, the image quality is affected by a host of factors at several stages of the image processing pipeline such as acquisition, compression and transmission. Several studies have explored the effect of distortion on human visual attention; however, none of them have considered the performance of visual saliency models in the presence of distortion. Furthermore, given that one potential application of visual saliency prediction is to aid pooling of objective visual quality metrics, it is important to compare the performance of existing saliency models on distorted images. In this paper, we evaluate several state-of-the-art visual attention models over different databases consisting of distorted images with various types of distortions such as blur, noise and compression with varying levels of distortion severity. This paper also introduces new improved performance evaluation metrics that are shown to overcome shortcomings in existing performance metrics. We find that the performance of most models improves with moderate and high levels of distortions as compared to the near distortion-free case. In addition, model performance is also found to decrease with an increase in image complexity.

研究の動機と目的

• 先行研究で体系的かつ評価されていない歪みのある画像における最先端視覚的注意（VA）モデルの性能を評価すること。
• 特に歪み下での評価において、既存のVAモデル性能評価指標の欠陥を特定すること。
• 歪みや画像の複雑さに対してよりロバストである、SNSS（Saliency-based Normalized Scanpath Similarity）、SSKLD（Saliency-based Symmetric Kullback-Leibler Divergence）、SJSD（Saliency-based Jensen-Shannon Divergence）、SEMD（Saliency-based Earth Mover's Distance）の4つの新しい評価指標を提案・検証すること。
• 歪みの種別（ぼかし、ノイズ、JPEG）と深刻度がVAモデルの性能に与える影響を分析すること。
• 画像の複雑さが、さまざまな歪み条件下でのVAモデルの正確性に与える影響を調査すること。

提案手法

• TUDおよびJudd低解像度データベースの2つのデータベースを用い、歪みのある画像の眼動-trackingデータを含む、20種類の最先端視覚的注意モデルを評価した。
• 歪みに対するロバスト性を向上させるために、SNSS（Saliency-based Normalized Scanpath Similarity）、SSKLD（Saliency-based Symmetric Kullback-Leibler Divergence）、SJSD（Saliency-based Jensen-Shannon Divergence）、SEMD（Saliency-based Earth Mover's Distance）の4つの新しい性能指標を提案した。
• 性能がランダムな注視パターンに対して測定されるように、シャッフルされた注視データをベースラインとして用い、原始的な注視マップではなく、ランダムパターンとの比較による性能評価を確保した。
• 指標の整合性とロバスト性を検証するため、広く用いられるSAUC（Saliency AUC）と新しい指標を比較した。
• 複数の歪み種別（ぼかし、ノイズ、JPEG）および歪みレベル、および画像の複雑さのカテゴリ（簡単、中程度、困難）にわたってモデルの性能を分析した。
• 統計的分析を用いて、指標やデータセット間でのモデルランク付けの違いを比較し、歪みに対する一貫性と耐性を強調した。

実験結果

リサーチクエスチョン

• RQ1 既存の視覚的注意モデルは、歪みのない画像と比較して、歪みのある画像ではどのように性能を示すか？
• RQ2 VAモデルの評価において、歪み下で広く用いられる指標（例：SAUC）の主な欠陥は何か？
• RQ3 提案された指標（SNSS、SSKLD、SJSD、SEMD）は、SAUCと比較して、さまざまな歪み種別やレベルにおいて、より一貫性がありロバストなモデルランク付けを提供するか？
• RQ4 画像の複雑さは、歪みの存在下でのVAモデルの性能にどのように影響を与えるか？
• RQ5 どの歪みレベルと種別が、VAモデルの性能を最も良くも悪くもするか？

主な発見

• 大多数のVAモデルは、中程度から高い歪みレベル（例：ぼかし、ノイズ、JPEG）の画像において、歪みがほとんどない状態と比較して性能が向上していることがわかった。
• 提案されたSJSD指標は、すべての歪み種別およびレベルにおいて最も一貫性があり、ロバストな性能を示し、SAUCや他の指標よりも安定性に優れたことが判明した。
• 画像の複雑さが増すと、モデルの性能は一貫して低下し、複雑さが高くなると顕著な領域の検出が難しくなった。
• SAUC指標は、データセット間でランク付けが一貫せず、歪みに対して脆弱であったが、新しい指標（特にSJSD）はより安定かつ信頼性の高いモデル比較を可能にした。
• SNSSおよびSEMDについては、歪みレベルにわたる明確なトレンドは認められなかったが、SSKLDおよびSJSDは、中程度および高い歪みレベルで性能が明確に向上した。
• すべてのモデルの平均性能は、画像の複雑さが増すにつれて低下し、図14の黒い点線（平均スコア）が簡単、中程度、困難のカテゴリにわたり下降傾向を示した。