[논문 리뷰] FixaTons: A collection of Human Fixations Datasets and Metrics for Scanpath Similarity

Dario Zanca, Valeria Serchi외 3명|arXiv (Cornell University)|2018. 02. 07.

Multimodal Machine Learning Applications참고 문헌 6인용 수 6

한 줄 요약

FixaTons는 시각주의 모델링 분야에서의 강력한 평가 도구 부족 문제를 해결하기 위해 인간의 시점 집중 데이터셋의 종합적인 오픈소스 컬렉션과 스캔패스 유사도를 위한 표준화된 메트릭을 포함한 소프트웨어 라이브러리를 제공한다. 이는 SIENA12 및 MIT1003과 같은 다양한 데이터셋에서 시간 지연 임bedding 및 스케일드 시간 지연 임베딩을 포함한 고급 메트릭을 활용해 동적이고 해상도에 영향을 받지 않는 유사도 평가를 가능하게 하며, 스캔패스 간 비교 분석을 지원한다.

ABSTRACT

In the last three decades, human visual attention has been a topic of great interest in various disciplines. In computer vision, many models have been proposed to predict the distribution of human fixations on a visual stimulus. Recently, thanks to the creation of large collections of data, machine learning algorithms have obtained state-of-the-art performance on the task of saliency map estimation. On the other hand, computational models of scanpath are much less studied. Works are often only descriptive or task specific. This is due to the fact that the scanpath is harder to model because it must include the description of a dynamic. General purpose computational models are present in the literature, but are then evaluated in tasks of saliency prediction, losing therefore information about the dynamics and the behaviour. In addition, two technical reasons have limited the research. The first reason is the lack of robust and uniformly used set of metrics to compare the similarity between scanpath. The second reason is the lack of sufficiently large and varied scanpath datasets. In this report we want to help in both directions. We present FixaTons, a large collection of datasets human scanpaths (temporally ordered sequences of fixations) and saliency maps. It comes along with a software library for easy data usage, statistics calculation and implementation of metrics for scanpath and saliency prediction evaluation.

연구 동기 및 목표

• 시각주의 연구 분야에서 인간의 스캔패스를 비교하기 위한 표준화되고 강력한 메트릭의 부족 문제를 해결한다.
• 일관된 메타데이터를 갖춘 대규모이고 다양한 종류의 인간의 시점 집중 데이터셋 컬렉션을 공개한다.
• 통합된 소프트웨어 도구를 통해 계산 모델의 스캔패스 동역학에 대한 재현 가능한 평가를 가능하게 한다.
• 공간 좌표를 정규화하고 가변 길이의 스캔패스 분석을 지원함으로써 다수의 데이터셋 간 비교를 가능하게 한다.
• 다양하고 잘 문서화된 유사도 메트릭을 제공함으로써 스캔패스 평가의 방법론적 일관성을 증진시킨다.

제안 방법

• 표준화된 캘리브레이션된 스크린에서 240 Hz 고주파 눈동자 추적기를 사용하여 인간의 시점 집중 데이터를 수집함으로써 높은 시간적 및 공간적 정밀도를 확보한다.
• PyGazeAnalyser를 사용해 원시 눈동자 추적 데이터를 처리하여 고정점(fixations)을 추출하고 시간 순서로 정렬된 스캔패스를 생성한다.
• 스캔패스를 R^k 내의 점 클러스터로 표현하기 위해 시간 지연 임베딩을 적용하여 길이가 다른 시퀀스 간의 동적 비교를 가능하게 한다.
• 고정점 좌표를 [0,1]^2로 정규화하여 해상도에 영향을 받지 않는 특성을 확보함으로써 스케일드 시간 지연 임베딩 거리(stde)를 도입한다.
• 임베딩된 부분 시퀀스 간의 MM-거리와 하우스도르프 거리를 사용해 유사도를 계산하며, stde는 여러 k값에 대한 지수 평균으로 계산된다.
• 데이터 검색, 시각화, 메트릭 계산, 스캔패스 유사도의 통계 분석을 위한 기능을 포함한 소프트웨어 라이브러리를 제공한다.

실험 결과

연구 질문

• RQ1 길이와 시간 역학이 다른 시퀀스 간에 스캔패스 유사도를 어떻게 강력하게 측정할 수 있는가?
• RQ2 공간적 요소와 동적 요소를 모두 잘 반영하는 메트릭은 무엇인가?
• RQ3 MIT1003 및 SIENA12와 같은 기존 데이터셋이 계산 모델의 스캔패스 평가에 얼마나 잘 기여하는가?
• RQ4 정규화된 시간 지연 기반 메트릭이 다양한 이미지 해상도와 관찰자 행동 간의 스캔패스 비교성을 어떻게 향상시킬 수 있는가?
• RQ5 기존 메트릭과 비교해 볼 때, 스케일드 시간 지연 임베딩 거리(stde)는 유사한지 아닌지의 스캔패스를 얼마나 잘 구분하는가?

주요 결과

• FixaTons 컬렉션은 SIENA12에서 12개의 회색조 이미지와 23명의 관찰자, MIT1003에서 1003개의 이미지와 15명의 관찰자가 포함되어 있으며, 표준화된 자유 시선 프로토콜에 따라 수집되었다.
• stde 메트릭은 $ \exp^{-\frac{1}{|K|}\sum_{k\in K}tde_{k}(s,h)} $로 정의되며, 값이 1에 가까울수록 높은 유사도를 나타내는 해상도에 영향을 받지 않는 유사도 측정법이다.
• 시간 지연 임베딩 거리(tde)는 서로 다른 길이의 스캔패스 간의 동적 유사성을 k차원 부분 시퀀스를 비교함으로써 효과적으로 포착한다.
• 스케일드 시간 지연 임베딩 접근법은 고정점 좌표를 [0,1]^2로 정규화하여 다양한 이미지 차원을 가진 데이터셋 간의 강건성과 유사도를 크게 향상시킨다.
• 소프트웨어 라이브러리는 메트릭, 통계, 시각화의 자동 계산을 가능하게 하여 스캔패스 예측 모델의 벤치마킹을 간소화한다.
• 컬렉션과 메트릭은 완전한 문서화와 커뮤니티 기여를 위한 지원을 통해 재현 가능한 연구를 지원하도록 설계되었다.