[논문 리뷰] State-of-the-Art in Human Scanpath Prediction

Matthias Kümmerer, Matthias Bethge|arXiv (Cornell University)|2021. 02. 24.

Visual Attention and Saliency Detection참고 문헌 48인용 수 23

한 줄 요약

이 논문은 인간의 스캔패스 예측 모델을 위한 원칙적이고 조건부 평가 프레임워크를 소개한다. 이 프레임워크는 이전의 고정점 기록과 이미지 컨텍스트를 바탕으로 각 고정점이 얼마나 잘 예측되는지를 평가한다. AUC와 로그우도와 같은 기존의 시각적 주목도 메트릭스를 적용하여, 다양한 모델 간에 공정하고 해석 가능한 벤치마킹을 가능하게 하며, MIT1003, MIT300, CAT2000 데이터셋에 대한 최초의 종합적인 최신 기술 분석을 수립한다.

ABSTRACT

The last years have seen a surge in models predicting the scanpaths of fixations made by humans when viewing images. However, the field is lacking a principled comparison of those models with respect to their predictive power. In the past, models have usually been evaluated based on comparing human scanpaths to scanpaths generated from the model. Here, instead we evaluate models based on how well they predict each fixation in a scanpath given the previous scanpath history. This makes model evaluation closely aligned with the biological processes thought to underly scanpath generation and allows to apply established saliency metrics like AUC and NSS in an intuitive and interpretable way. We evaluate many existing models of scanpath prediction on the datasets MIT1003, MIT300, CAT2000 train and CAT200 test, for the first time giving a detailed picture of the current state of the art of human scanpath prediction. We also show that the discussed method of model benchmarking allows for more detailed analyses leading to interesting insights about where and when models fail to predict human behaviour. The MIT/Tuebingen Saliency Benchmark will implement the evaluation of scanpath models as detailed here, allowing researchers to score their models on the established benchmark datasets MIT300 and CAT2000.

연구 동기 및 목표

• 기본 벤치마크가 확립되지 않은 상황에서 스캔패스 예측 모델에 대한 표준화되고 원칙적인 평가의 부족을 해결하기 위해.
• 각 고정점이 이전 고정점과 이미지 컨텍스트에 따라 결정되는 생물학적 스캔패스 생성 과정과 모델 평가를 일치시키기 위해.
• AUC, 로그우도, NSS와 같은 잘 정립된 메트릭스를 사용하여 다양한 스캔패스 모델 간의 공정하고 정량적인 비교를 가능하게 하기 위해.
• 다양한 표준 데이터셋에서 현재 최신 기술 모델들의 상세한 벤치마킹 개요를 제공하기 위해.
• 미래의 모델 평가 및 비교를 위해 MIT/Tübingen 시각적 주목도 벤치마크에 통합된 공개 벤치마크를 구축하기 위해.

제안 방법

• 전체 생성된 스캔패스를 비교하는 대신, 이미지와 모든 이전 고정점에 조건부로 다음 고정점 위치를 예측함으로써 스캔패스 모델을 평가한다.
• 조건부 우선도 지도를 모델의 출력으로 사용하여, 과거 기록을 바탕으로 한 다음 고정점 위치에 대한 확률 분포를 표현한다.
• 이러한 조건부 예측에 직접적으로 표준 시각적 주목도 메트릭스—AUC, 로그우도, NSS—를 적용하여 평가한다.
• 로그우도로는 확률 모델의 캘리브레이션을 평가하고, AUC로는 순위 성능을 평가하며, NSS로는 z-스코어 기반의 예측 정확도 평가를 수행한다.
• 확률 모델의 경우, 위치와 지속 시간에 대한 공동 조건부 분포를 모델링하여 고정점 지속 시간을 포함한 프레임워크를 확장한다.
• 작업에 무관한 평가 파이프라인을 설계하여, 작업 레이블을 조건으로 하여 작업 기반 스캔패스 예측으로의 확장이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 기존의 스캔패스 예측 모델들은 이미지와 이전 고정점들을 바탕으로 다음 고정점 위치를 얼마나 잘 예측하는가?
• RQ2 AUC, 로그우도, 또는 NSS 중 어떤 메트릭스가 스캔패스 모델의 예측 성능을 원칙적이고 해석 가능한 방식으로 가장 잘 반영하는가?
• RQ3 MIT300과 CAT2000와 같은 표준 벤치마크 데이터셋에서 다양한 스캔패스 모델의 강점과 약점은 무엇인가?
• RQ4 조건부 평가 프레임워크는 전통적인 스캔패스 비교 방법에서는 드러나지 않는 모델의 실패 모드를 어떻게 드러내는가?
• RQ5 제안된 프레임워크는 고정점 지속 시간과 작업 기반 스캔패스를 모델링하기 위해 확장될 수 있는가?

주요 결과

• 조건부 평가 프레임워크는 고정점 선택을 순차적이고 이력 기반의 과정으로 모델링함으로써, 더 생물학적으로 타당하고 해석 가능한 스캔패스 모델 평가를 가능하게 한다.
• 로그우도와 AUC를 주요 메트릭스로 권장하며, 로그우도는 밀도 캘리브레이션에 더 민감하고, AUC는 분포 이동에 더 강인하다.
• IOR-ROI-LSTM과 SceneWalk와 같은 모델들은 공간적 편향과 사카드 길이 제약을 잘 포착하는 등 뛰어난 성능을 보인다.
• 벤치마크는 많은 모델이 한 데이터셋에서 학습하고 다른 데이터셋에서 테스트할 때 잘 일반화되지 않음을 드러내며, 분포 민감성을 시사한다.
• 프레임워크는 저수준 이미지 특징에 과도하게 의존하거나 기억 및 작업 컨텍스트를 잘 처리하지 못하는 등의 체계적 예측 오류를 특정한다.
• MIT/Tübingen 시각적 주목도 벤치마크는 이 스캔패스 평가 프레임워크를 통합하여, 공개적이고 재현 가능하며 과적합에 강한 모델 비교를 가능하게 한다.