[논문 리뷰] A stochastic model of human visual attention with a dynamic Bayesian network

Akisato Kimura, Derek Pang외 4명|arXiv (Cornell University)|2010. 04. 01.

Visual Attention and Saliency Detection참고 문헌 29인용 수 6

한 줄 요약

이 논문은 영상 시나리오에서 인간의 시각 고정 위치를 예측하기 위해 동적 베이지안 네트워크를 사용하는 확률적 시각 주의 모델을 제안한다. 입자 필터링과 스트림 처리를 통해 사전 자극 반응과 인지 상태 역학을 통합함으로써, 결정론적 모델보다 훨씬 높은 정확도를 달성하면서도 실시간에 가까운 성능(1프레임당 40–50ms)을 구현한다.

ABSTRACT

Recent studies in the field of human vision science suggest that the human responses to the stimuli on a visual display are non-deterministic. People may attend to different locations on the same visual input at the same time. Based on this knowledge, we propose a new stochastic model of visual attention by introducing a dynamic Bayesian network to predict the likelihood of where humans typically focus on a video scene. The proposed model is composed of a dynamic Bayesian network with 4 layers. Our model provides a framework that simulates and combines the visual saliency response and the cognitive state of a person to estimate the most probable attended regions. Sample-based inference with Markov chain Monte-Carlo based particle filter and stream processing with multi-core processors enable us to estimate human visual attention in near real time. Experimental results have demonstrated that our model performs significantly better in predicting human visual attention compared to the previous deterministic models.

연구 동기 및 목표

• 동일한 자극에 대해 개인이 다른 위치에 주의를 기울일 수 있는 인간 시각 주의의 비결정론적 성격을 다루기 위해.
• 각 자극에 대해 단일 고정 주의 지점만을 가정하는 결정론적 사전 자극 모델의 한계를 극복하기 위해.
• 하부-상향 사전 자극과 상부-하향 인지 상태를 결합하여 주의 가능성 예측을 위한 확률적 프레임워크를 개발하기 위해.
• 영상 처리 및 컴퓨터 비전 분야의 실용적 응용을 위해 인간 시각 주의를 실시간으로 추정할 수 있도록 하기 위해.
• 기존 모델들인 Itti의 사전 자극 지ap과 베이지안 놀라움을 초월하여 주의 반응의 불확실성을 모델링함으로써 예측 정확도를 향상시키기 위해.

제안 방법

• 시간에 따른 시각 주의의 진화를 은닉 마르코프 과정으로 모델링하기 위해 4층의 동적 베이지안 네트워크(DBN)를 수립한다.
• 신호 탐지 이론을 사용하여 하부-상향 사전 자극 반응을 통합하여, 목표물과 배경 물체에 대해 정규분포를 따르는 반응을 갖는 확률적 과정으로 탐지 모델링한다.
• 이전 주의 상태 기반으로 눈의 움직임 예측을 수행하는 상태공간 모델을 통해 상부-하향 인지 상태를 모델링한다.
• 표본 기반 추론을 위해 마르코프 체인 몬테카를로(MCMC)-기반 입자 필터링을 적용하여 주의 위치에 대한 사후 분포를 추정한다.
• 다중 코어 아키텍처에서 스트림 처리를 활용하여 1프레임당 40–50ms의 실시간 추론을 가능하게 한다.
• 사전 자극 가능성과 인지 상태 가능성의 확률을 결합하여 공동 확률 모델을 구성함으로써 가장 가능성이 높은 주의 지역을 추정한다.

실험 결과

연구 질문

• RQ1 확률적 모델은 결정론적 사전 자극 모델에 비해 인간의 시각 주의의 비결정론적 성격을 얼마나 더 잘 포착할 수 있는가?
• RQ2 인지 상태 역학을 통합할 경우 영상 시퀀스에서 주의 예측 정확도가 얼마나 향상되는가?
• RQ3 실시간 성능을 확보하면서도 동적 베이지안 네트워크 프레임워크가 시각 주의의 시간적 진화를 효과적으로 모델링할 수 있는가?
• RQ4 제안된 모델은 인간의 고정 위치를 예측하는 데 있어 Itti의 사전 자극 지도와 베이지안 놀라움과 같은 기존 결정론적 모델에 비해 정량적으로 어떻게 비교되는가?
• RQ5 모델의 계산 효율성은 어떻게 되며, 실시간 운영을 달성할 수 있는가?

주요 결과

• 제안된 확률적 모델은 모든 세 가지 기준 모델(variance, CIOFM, surprise)보다 유의미하게 높은 평균 NSS 점수를 달성하여 더 뛰어난 예측 정확도를 입증했다.
• 대부분의 영상 클립에서 제안된 모델은 기존 모델을 능가하거나 동등한 성능을 보였으며, NSS 점수가 항상 0 이상이면서 종종 1을 초월하여 인간의 고정 위치에서 표준편차 내에 예측된 것으로 나타났다.
• Itti 모델이 여러 개의 큰 사전 자극 영역을 생성하는 데 비해, 본 모델은 더 정확하고 국소화된 주의 지도를 생성하여 몇몇 작은 사전 자극 영역만을 보여주었다.
• GPU 가속 없이도 평균 실행 시간이 1프레임당 40–50ms로 실시간에 가까운 성능을 달성했다.
• CUDA 가속을 적용했을 경우에도 유사한 처리 시간을 유지하여 현대 하드웨어에서의 확장성을 입증했다.
• 신호 탐지 이론과 인지 상태 모델링의 통합을 통해 주의 반응의 불확실성을 고려함으로써 더 강력하고 생물학적으로 타당한 예측이 가능해졌다.