[논문 리뷰] Saccade Sequence Prediction: Beyond Static Saliency Maps

Calden Wloka, Iuliia Kotseruba외 1명|arXiv (Cornell University)|2017. 11. 29.

Visual Attention and Saliency Detection참고 문헌 46인용 수 7

한 줄 요약

이 논문은 중심 시각과 주변 시각의 사활성 지도를 망막 이방성 모델링과 통합하여 시간 순서로 정렬된 사하드 시퀀스를 예측하는 딥러닝 기반의 고정점 제어 모델인 STAR-FC를 제안한다. CAT2000 데이터셋에서 첫 다섯 고정점에서 인간의 관찰자 간 변동성과 동일한 수준의 고정점 순서 충실도를 달성하며, 정적 사활성 지도보다 뛰어난 성능을 보인다.

ABSTRACT

Visual attention is a field with a considerable history, with eye movement control and prediction forming an important subfield. Fixation modeling in the past decades has been largely dominated computationally by a number of highly influential bottom-up saliency models, such as the Itti-Koch-Niebur model. The accuracy of such models has dramatically increased recently due to deep learning. However, on static images the emphasis of these models has largely been based on non-ordered prediction of fixations through a saliency map. Very few implemented models can generate temporally ordered human-like sequences of saccades beyond an initial fixation point. Towards addressing these shortcomings we present STAR-FC, a novel multi-saccade generator based on a central/peripheral integration of deep learning-based saliency and lower-level feature-based saliency. We have evaluated our model using the CAT2000 database, successfully predicting human patterns of fixation with equivalent accuracy and quality compared to what can be achieved by using one human sequence to predict another. This is a significant improvement over fixation sequences predicted by state-of-the-art saliency algorithms.

연구 동기 및 목표

• 정적 사활성 지도가 단지 고정점 위치를 예측하는 데 그치지 않고 시간 순서로 정렬된 사하드 시퀀스를 예측하는 데에 한계가 있다는 문제를 해결하기 위해.
• 망막 이방성과 중심/주변 시각 처리를 통합하여 인간의 고정점 제어를 더 정확히 모델링하기 위해.
• 작업 기반 및 상향식 주의 제어에 쉽게 확장할 수 있도록 유연하고 매개변수 조절이 가능한 모델을 개발하기 위해.
• 실제 시각 행동을 반영하기 위해 사활성 지도 메트릭이 아닌 인간 고정점 데이터와의 비교를 통해 순서 예측 성능을 평가하기 위해.

제안 방법

• STAR-FC는 중심 시각 및 주변 시각 분야 통합을 위해 딥러닝 기반 사활성 지도와 저수준 특징 기반 사활성 지도를 결합한 다중 사하드 생성기를 사용한다.
• 모델은 망막 이방성을 명시적으로 모델링하여 중심부의 높은 해상도와 주변부의 낮은 해상도를 고려하여 공간 정확도를 향상시킨다.
• 고정점 제어 네트워크는 사활성 값에 기반해 사하드 목표를 선택하며, 반복 고정점 방지를 위해 회피 반응 및 공간 주의 메커니즘을 통합한다.
• 예측된 시퀀스와 인간 고정점 시퀀스를 비교하기 위해 트레이젝터리 메트릭(유클리드 거리, 프레셰 거리, 하우스도르프 거리)을 사용하여 CAT2000 데이터셋에서 모델을 훈련 및 평가한다.
• 최신 사활성 모델(LDS, GBVS, SALICON 등)과 중심점 예측 기준선과의 성능 비교를 통해 벤치마킹을 수행한다.
• 모델는 작업 기반 조정 및 상향식 주의 제어에 대한 확장성을 고려하여 설계되어 다양한 실험 조건에 적응 가능하도록 한다.

실험 결과

연구 질문

• RQ1 정적 사활성 지도보다 인간의 고정점 패턴을 더 정확히 반영하는 시간 순서로 정렬된 사하드 시퀀스를 생성할 수 있는가?
• RQ2 망막 이방성을 명시적으로 모델링하면 예측된 고정점 시퀀스의 충실도가 어떻게 향상되는가?
• RQ3 중심 및 주변 사활성 지도를 통합하면 단지 사활성 지도에 의존하는 모델에 비해 순서 예측 성능가 어떻게 향상되는가?
• RQ4 제안된 모델의 성능은 인간 관찰자 간 변동성과 비교해 어떻게 되는가?
• RQ5 다양한 이미지 카테고리에서 상호 관찰자 일致성 수준이 다른 경우에도 모델이 일반화 가능한가?

주요 결과

• STAR-FC는 모든 세 가지 메트릭(ED, FD, HD)에서 인간 관찰자 간 비교 수준의 트레이젝터리 스코어를 달성하여, 자연스러운 인간 변동성을 반영하는 유일한 모델이다.
• CAT2000 데이터셋에서 STAR-FC의 고정점 분포에 대한 평균 제곱오차는 인간 관찰자와 동일하여 높은 공간 정확도를 보였다.
• LDS 및 GBVS를 포함한 모든 테스트된 사활성 모델보다 STAR-FC가 우수했으며, 인간 시퀀스와의 유클리드 거리가 20.6% 낮고, 프레셰 거리가 8.8% 낮고, 하우스도르프 거리가 6.3% 낮았다.
• 중심점 예측 기준선은 CAT2000의 중심 고정점 편향을 잘 반영했지만, 모든 메트릭에서 가장 열 劣한 성능을 보였으며, 중심 편향만으로는 정확한 순서 예측이 불가능함을 입증했다.
• 모델은 이미지 카테고리 전반에서 뛰어난 성능을 보였으며, 스케치 및 저해상도 카테고리에서는 높은 일관성을 유지했고, 캐릭터 및 위성 카테고리에서는 낮은 일관성을 보였는데, 이는 이전 연구에서 보고된 관찰자 간 일관성과 일치했다.
• STAR-FC는 한 사람의 고정점 시퀀스를 사용해 다른 사람의 시퀀스를 예측하는 것과 동등한 수준의 고정점 시퀀스 예측 품질을 성공적으로 달성하여, 순서 수준의 고정점 예측에 새로운 기준을 설정했다.