[논문 리뷰] Learning a time-dependent master saliency map from eye-tracking data in videos

Antoine Coutrot, Nathalie Guyader|arXiv (Cornell University)|2017. 02. 02.

Visual Attention and Saliency Detection참고 문헌 83인용 수 8

한 줄 요약

이 논문은 영상의 눈팅 데이터에서 최대우도 및 압축 방법(Lasso/EM)을 사용하여 시간 및 카테고리에 따라 의존적인 시각적 주목 특징 맵의 융합을 제안한다. 결과적으로 중심 편향, 동적 주목성, 얼굴 등의 최적의 특징 가중치는 시간이 지남에 따라 크게 변화하며, 이는 일정한 가중치를 사용하는 모델보다 우수한 성능을 보인다.

ABSTRACT

To predict the most salient regions of complex natural scenes, saliency models commonly compute several feature maps (contrast, orientation, motion...) and linearly combine them into a master saliency map. Since feature maps have different spatial distribution and amplitude dynamic ranges, determining their contributions to overall saliency remains an open problem. Most state-of-the-art models do not take time into account and give feature maps constant weights across the stimulus duration. However, visual exploration is a highly dynamic process shaped by many time-dependent factors. For instance, some systematic viewing patterns such as the center bias are known to dramatically vary across the time course of the exploration. In this paper, we use maximum likelihood and shrinkage methods to dynamically and jointly learn feature map and systematic viewing pattern weights directly from eye-tracking data recorded on videos. We show that these weights systematically vary as a function of time, and heavily depend upon the semantic visual category of the videos being processed. Our fusion method allows taking these variations into account, and outperforms other state-of-the-art fusion schemes using constant weights over time. The code, videos and eye-tracking data we used for this study are available online: http://antoinecoutrot.magix.net/public/research.html

연구 동기 및 목표

• 정적이고 시간에 영향을 받지 않는 특징 가중치의 한계를 해결하기 위해, 이는 동적인 시각적 탐색 패턴을 포착하지 못한다.
• 실제 눈팅 데이터로부터 시간에 따라 변화하는 다수의 특징 맵(예: 운동, 대비, 중심 편향)과 체계적인 시각적 편향을 함께 학습한다.
• 영상의 시간과 의미적 영상 카테고리(예: 풍경 대비 얼굴이 있는 장면)에 따라 특징 맵 기여도가 어떻게 변화하는지 조사한다.
• 영상 자극에서의 시간적 동적 특성과 의미적 맥락을 모델링하여 주목성 예측 정확도를 향상시킨다.
• 다른 관찰자 집단(예: 문화나 성별 기반)의 눈팅 데이터에서 학습함으로써 인구 집단별 주목성 모델링을 가능하게 한다.

제안 방법

• K개의 특징 맵에 대해 시간에 따라 변화하는 가중치를 동시에 추정하기 위해 최대우도 추정법과 압축(Lasso 및 기대값 최대화) 방법을 사용하였다.
• 다양한 영상 자극을 시청하는 인간 관찰자의 눈팅 데이터를 사용하여 모델을 훈련하였으며, 가중치는 시간 간격(예: 40ms 또는 15프레임)마다 갱신되었다.
• 주요 주목 맵를 가중치 합으로 정의하였다: $ S = igsum_{k=1}^{K} eta_k^{(t)} M_k $, 여기서 $ eta_k^{(t)} $ 는 시간에 따라 변화하는 가중치이다.
• Lasso 정규화를 적용하여 흐트러짐을 방지하고 과적합을 줄였으며, EM는 가중치 추정의 수렴성과 안정성을 향상시켰다.
• 교차검증을 통해 모델을 검증하였고, 최신 기술의 일정 가중치 융합 모델과 성능을 비교하였다.
• 영상의 의미적 카테고리(예: 풍경, 여러 개의 움직이는 물체, 얼굴)를 맥락적 요소로 통합하여 가중치의 동적 변화에 영향을 주었다.

실험 결과

연구 질문

• RQ1 영상 시청 중 시간이 지남에 따라 하향식 및 상향식 주목성 특징(예: 운동, 대비, 중심 편향)의 상대 기여도는 어떻게 변화하는가?
• RQ2 특징 맵 가중치가 처리 중인 영상의 의미적 내용이나 시각적 카테고리에 얼마나 의존하는가?
• RQ3 시간에 따라 변화하는, 데이터 기반의 주목 맵 융합이 기존의 일정 가중치 융합 모델보다 눈의 위치 예측에서 더 우수한 성능을 보일 수 있는가?
• RQ4 중심 편향과 같은 체계적인 시각적 편향은 복잡한 장면 탐색 중에 어떻게 동적으로 변화하는가?
• RQ5 다른 관찰자 집단(예: 문화, 연령, 성별 기반)에 맞게 모델을 조정할 수 있는가? 이는 그들의 눈팅 데이터에서 학습함으로써 가능하다.

주요 결과

• 특징 맵 가중치는 강한 시간적 동적 특성을 보이며, 첫 600ms(15프레임) 동안 중심 편향이 지배적이며, 이후 기간에는 일정한 수준을 유지한다.
• 움직이는 물체나 인간 얼굴이 포함된 영상에서는 동적 주목성 및 얼굴 특징이 더 높은 가중치를 받는 반면, 정적 주목성 특징의 가중치는 모든 카테고리에서 일관되게 낮게 유지된다.
• 시간에 따라 변화하는 가중치를 사용하는 모델은 다양한 영상 자극에서 눈의 위치를 예측하는 데 있어 모든 일정 가중치 융합 기반 모델보다 뛰어난 성능을 보였다.
• 얼굴이 많은 영상에서는 얼굴 영역이 기록된 정지 위치의 약 80%를 설명하며, 동적 주목성 가중치는 중심 편향 가중치보다 유의미하게 높았다.
• 이 방법은 중심 편향과 같은 안구 운동 편향을 성공적으로 포착하고 의미적 내용에 적응하여 다양한 영상 카테고리에서 강건한 성능을 보였다.
• 이 방법은 인구 집단별 주목성 모델링을 가능하게 하였으며, 예를 들어 미국인과 중국인 간의 문화적 집단 간에 물체 정지 위치 행동에서의 가중치 동적 특성 차이를 통해 이를 입증하였다.