[논문 리뷰] A probabilistic tour of visual attention and gaze shift computational models

Giuseppe Boccignone|arXiv (Cornell University)|2016. 07. 05.

Gaze Tracking and Assistive Technology참고 문헌 5인용 수 5

한 줄 요약

이 논문은 활동적 시각에서 시각적 주의와 시선 이동을 모델링하기 위한 확률적 프레임워크를 제안하며, 인지적, 정서적, 실행 제어 요소를 통합한다. 응답성 있는 감정 상태를 동적 베이지안 네트워크에 통합함으로써, 하향식 자극에 의한 주의 모델을 넘어서 자연 환경에서의 목표 지향적 눈동자 움직임에 대한 통합적이고 원리적인 설명을 제공한다.

ABSTRACT

In this paper a number of problems are considered which are related to the modelling of eye guidance under visual attention in a natural setting. From a crude discussion of a variety of available models spelled in probabilistic terms, it appears that current approaches in computational vision are hitherto far from achieving the goal of an active observer relying upon eye guidance to accomplish real-world tasks. We argue that this challenging goal not only requires to embody, in a principled way, the problem of eye guidance within the action/perception loop, but to face the inextricable link tying up visual attention, emotion and executive control, in so far as recent neurobiological findings are weighed up.

연구 동기 및 목표

• 현재의 주목 모델들이 눈동자 이동을 순수하게 하향식으로 다루며 의도적이고 정서적 영향을 간과한다는 한계를 해결하기 위해.
• perception, action, affect를 통합하는 확률적 그래픽 모델(PGM) 내에서 눈동자 움직임 예측을 재정의하기 위해.
• 정서적 평가와 각성도가 신경생물학적으로 타당한 경로를 통해 시선 이동에 어떻게 영향을 미치는지 조사하기 위해.
• 행동/지각 순환에서 인지 제어와 인지 평가 사이의 매개체로 작용하는 동적 잠재 정서 공간을 제안하기 위해.
• 이미지에서 술어로의 전환 패러다임을 넘어서, 계산 모델에 환경적이고 목표 지향적인 인지 기반의 주의를 통합하기 위해.

제안 방법

• 동적 베이지안 네트워크(DBNs)를 사용하여 눈동자 이동을 확률적 추론 문제로 공식화하고, 행동/지각 순환을 시간에 따라 변화하는 PGM로 모델링한다.
• 핵심 정서 차원(평가와 각성도)을 나타내는 잠재 정서 변수 𝒆(t)를 도입하여, 시선 이동 결정에 동적으로 영향을 미친다.
• 신경생물학적 증거를 바탕으로, 하향식 주목, 상향식 주의, 정서적 조절 간의 상호작용을 PGM 내 조건부 의존성으로 모델링한다.
• 고정점 예측에 posterior 분포 P(𝐫_F(t) | 𝐈, 𝒆(t), 𝒄(t))를 사용하며, 여기서 𝒄(t)는 인지 제어를, 𝒆(t)는 정서 상태를 나타낸다.
• 해마, 전측 편도체(OFC), 중수성 대뇌피질(vTA), 전전두피질(ACC), 기저핵 전방부 등 신경해부학적 경로를 PGM에 통합하여 주의에 대한 신경조절 효과를 모델링한다.
• 시각적 입력과 정서 상태가 함께 결합하여 고정점 시퀀스를 결정하는, 생성적 접근 방식을 채택한다. 이는 눈동자 이동이 단지 이미지 특징에 의해 유도되는 것이 아니라, 정서, 목표, 지각 입력 간의 상호작용에 의해 결정됨을 의미한다.

실험 결과

연구 질문

• RQ1 하향식 주목과 상향식 목표를 모두 고려하는 확률적 프레임워크 내에서 시각적 주의와 시선 이동 모델을 어떻게 통합할 수 있는가?
• RQ2 정서적 평가와 각성도가 눈동자 운동 행동에 어떤 역할을 하는가? 이를 어떻게 계산적으로 모델링할 수 있는가?
• RQ3 행동/지각 순환을 정서적 및 인지적 제어 요소를 포함하는 동적 확률적 그래픽 모델로 어떻게 공식화할 수 있는가?
• RQ4 현재의 주목 모델이 실제 작업에서 시선을 예측하지 못하는 이유는 무엇이며, 핵심적으로 누락된 요소는 무엇인가?
• RQ5 잠재 정서 상태를 PGM에 통합하여 지각 평가와 행동 선택 사이의 매개체로 사용할 수 있는가?

주요 결과

• 현재의 시각적 주의 계산 모델은 감정, 인지, 행동의 통합을 간과하고 있기 때문에 실제 활동적 시각에는 부적절하다.
• 신경생물학적 증거에 따르면 편도체와 후측 편도체 피질(OFC)이 정서적 주의 조절의 핵심 회로를 형성하며, 이는 표준 주목 모델이 반영하지 못한다.
• 행동/지각 순환에 잠재 정서 상태 𝒆(t)를 통합함으로써, 특히 정서적으로 주목할 만한 장면에서 더 현실적이고 맥락 민감도가 높은 시선 예측이 가능해진다.
• 정서적 내용은 자극 기반 주목 외에도 상향식 조절을 통해 시선 이동에 영향을 미치며, 이로 인해 인지적 제어와 정서적 제어의 경계가 흐려진다.
• 제안된 PGM 프레임워크는 시선 이동의 생성적 모델링을 가능하게 하여, 지각 입력과 정서 상태가 함께 고정점 순서를 결정한다.
• 모델은 장면의 '의미'가 이미지 데이터 자체에 내재되어 있는 것이 아니라, 환경에 둘러싸인 동적 순환에서 지각, 정서, 행동의 상호작용을 통해 유도된다는 점을 시사한다.