[논문 리뷰] The Effect of Distortions on the Prediction of Visual Attention

Milind S. Gide, Samuel Dodge외 1명|arXiv (Cornell University)|2016. 04. 13.

Visual Attention and Saliency Detection참고 문헌 13인용 수 7

한 줄 요약

이 논문은 왜곡된 이미지에서 최신 시각적 주의(visual attention, VA) 모델 20종을 평가하며, SAUC와 같은 기존 평가 지표의 한계를 보완하기 위해 SNSS, SSKLD, SJSD, SEMD라는 네 가지 새로운 강건한 성능 지표를 도입한다. 결과적으로 VA 모델의 성능은 일반적으로 중간에서 높은 수준의 왜곡에서 향상되며, 이미지의 복잡도가 증가함에 따라 감소하는 경향을 보이며, SJSD가 왜곡 유형과 수준에 관계없이 가장 일관된 성능을 보였다.

ABSTRACT

Existing saliency models have been designed and evaluated for predicting the saliency in distortion-free images. However, in practice, the image quality is affected by a host of factors at several stages of the image processing pipeline such as acquisition, compression and transmission. Several studies have explored the effect of distortion on human visual attention; however, none of them have considered the performance of visual saliency models in the presence of distortion. Furthermore, given that one potential application of visual saliency prediction is to aid pooling of objective visual quality metrics, it is important to compare the performance of existing saliency models on distorted images. In this paper, we evaluate several state-of-the-art visual attention models over different databases consisting of distorted images with various types of distortions such as blur, noise and compression with varying levels of distortion severity. This paper also introduces new improved performance evaluation metrics that are shown to overcome shortcomings in existing performance metrics. We find that the performance of most models improves with moderate and high levels of distortions as compared to the near distortion-free case. In addition, model performance is also found to decrease with an increase in image complexity.

연구 동기 및 목표

• 기존 연구에서 체계적으로 평가되지 않은 왜곡된 이미지에서 최신 시각적 주의 모델의 성능을 평가하기 위해.
• 특히 왜곡 조건 하에서 VA 모델의 성능 평가 지표에 존재하는 한계를 규명하기 위해.
• 왜곡과 이미지 복잡도에 더 강건한 성능을 보이는 네 가지 새로운 평가 지표(SNSS, SSKLD, SJSD, SEMD)를 제안하고 검증하기 위해.
• 왜곡 유형(흐림, 노이즈, JPEG)과 심각도가 VA 모델 성능에 미치는 영향을 분석하기 위해.
• 이미지 복잡도가 다양한 왜곡 조건에서 VA 모델 정확도에 미치는 영향을 조사하기 위해.

제안 방법

• 왜곡된 이미지의 눈동자 이동 데이터를 포함한 두 데이터베이스인 TUD와 Judd 저해상도 데이터셋을 사용해 시각적 주의 모델 20종을 평가하였다.
• 왜곡에 더 강건한 성능을 보이기 위해 SNSS(Saliency-based Normalized Scanpath Similarity), SSKLD(Saliency-based Symmetric Kullback-Leibler Divergence), SJSD(Saliency-based Jensen-Shannon Divergence), SEMD(Saliency-based Earth Mover's Distance)라는 네 가지 새로운 성능 지표를 제안하였다.
• 성능 평가가 원시 눈동자 이동 지도가 아닌 무작위 눈동자 이동 패tern을 기준으로 하기 위해 셰플된 눈동자 데이터를 기준선으로 사용하였다.
• 다양한 데이터셋과 왜곡 조건에서의 일관성과 강건성을 검증하기 위해 널리 사용되는 SAUC(Saliency AUC)와 새로운 지표를 비교하였다.
• 다양한 왜곡 유형(흐림, 노이즈, JPEG)과 수준, 그리고 이미지 복잡도 카테고리(간단, 중간, 어려움)에 따라 모델 성능을 분석하였다.
• 통계적 분석을 통해 다양한 지표와 데이터셋 간의 모델 순위를 비교하였으며, 특히 왜곡에 대한 강건성과 일관성을 강조하였다.

실험 결과

연구 질문

• RQ1 기존의 시각적 주의 모델은 왜곡 없는 이미지와 비교해 왜곡된 이미지에서 어떻게 성능을 발휘하는가?
• RQ2 왜곡 조건 하에서 시각적 주의 모델 평가에 널리 사용되는 지표인 SAUC의 주요 한계는 무엇인가?
• RQ3 제안된 지표들(SNSS, SSKLD, SJSD, SEMD)은 SAUC보다 왜곡 유형과 수준에 관계없이 더 일관되고 강건한 성능 순위를 제공하는가?
• RQ4 이미지 복잡도는 왜곡 조건에서 VA 모델의 성능에 어떤 영향을 미치는가?
• RQ5 어느 수준과 유형의 왜곡이 VA 모델의 성능을 가장 좋거나 가장 나쁘게 만드는가?

주요 결과

• 대부분의 VA 모델은 왜곡이 중간에서 높은 수준인 이미지에서 왜곡이 거의 없는 조건보다 성능 향상을 보였다 (예: 흐림, 노이즈, JPEG).
• 제안된 SJSD 지표는 모든 왜곡 유형과 수준에서 가장 일관되고 강건한 성능을 보였으며, SAUC 및 기타 지표보다 안정성이 뛰어났다.
• 이미지 복잡도가 증가할수록 성능이 일관되게 감소하였으며, 더 높은 혼잡도로 인해 주목할 만한 영역 탐지가 더 어려워졌다.
• SAUC 지표는 다양한 데이터셋 간 순위가 일관되지 않으며 왜곡에 덜 강건한 것으로 나타났고, 새로운 지표들(특히 SJSD)은 더 안정적이고 신뢰할 수 있는 모델 비교를 제공하였다.
• SNSS와 SEMD는 왜곡 수준에 따라 명확한 추세를 보이지 않았지만, SSKLD와 SJSD는 중간 및 높은 왜곡 수준에서 성능 향상이 뚜렷하게 나타났다.
• 모든 모델의 평균 성능은 이미지 복잡도 증가에 따라 감소하였으며, 이는 그림 14에서 쉽게, 중간, 어려움 카테고리로 갈수록 내림차선을 보이는 검은 점선(평균 점수)으로 나타났다.