[논문 리뷰] Wave Propagation of Visual Stimuli in Focus of Attention

Lapo Faggi, Alessandro Betti외 3명|arXiv (Cornell University)|2020. 06. 19.

Visual Attention and Saliency Detection참고 문헌 37인용 수 4

한 줄 요약

이 논문은 시각 자극으로부터 파동 전파를 기반으로 하는 생물학적으로 타당한, 시공간적으로 局소적인 시각 주의 모델을 제안한다. 이 모델은 고정점 순환을 방지하기 위해 반복 억제를 통합하며, 무한한 파동 속도의 극한에서 중력 주의 모델을 모방함으로써 스캔패스 예측에서 최신 기술 수준의 성능을 달성한다. 동시에 국소적 동역학을 통해 효율적인 병렬 계산을 가능하게 한다.

ABSTRACT

Fast reactions to changes in the surrounding visual environment require efficient attention mechanisms to reallocate computational resources to most relevant locations in the visual field. While current computational models keep improving their predictive ability thanks to the increasing availability of data, they still struggle approximating the effectiveness and efficiency exhibited by foveated animals. In this paper, we present a biologically-plausible computational model of focus of attention that exhibits spatiotemporal locality and that is very well-suited for parallel and distributed implementations. Attention emerges as a wave propagation process originated by visual stimuli corresponding to details and motion information. The resulting field obeys the principle of "inhibition of return" so as not to get stuck in potential holes. An accurate experimentation of the model shows that it achieves top level performance in scanpath prediction tasks. This can easily be understood at the light of a theoretical result that we establish in the paper, where we prove that as the velocity of wave propagation goes to infinity, the proposed model reduces to recently proposed state of the art gravitational models of focus of attention.

연구 동기 및 목표

• 중앙 집중식 자극성 계산을 피하는 생물학적으로 타당한 국소적 주의 모델을 개발하는 것.
• 기존 중력 모델의 전역 계산 한계를 해결하기 위해 파동 전파 동역학을 도입하는 것.
• 국소적 시공간 계산을 통해 효율적이고 병렬적이며 분산된 구현을 가능하게 하는 것.
• 생물학적으로 영감을 받은 주의 메커니즘과 최신 기술 수준의 스캔패스 예측 성능 사이의 격차를 메우는 것.

제안 방법

• 시각 자극에서 시작하는 파동 전파로 주의를 모델링하며, 시각 분야 전역에 신호 확산을 시뮬레이션하기 위해 감쇠된 파동 방정식을 사용한다.
• 이전에 고정된 영역로의 재방문을 방지하기 위해 단조 감소하는 자극성 항을 통해 반복 억제를 통합한다.
• 2차원 망막 격자에서 파동 방정식을 풀어 국소적 계산을 수행함으로써 전역적 力의 합산을 피한다.
• 무한한 파동 속도 극한에서 푸아송 방정식으로 수렴하는 부분 미분 방정식 프레임워크를 사용해 모델을 수식화한다.
• 격자 기반 망막 표현에서 수치 이산화를 위해 명시적 유한 차분 방법을 구현한다.
• 스캔패스 예측 작업을 위해 스트링 편집 거리(Sed)와 스케일된 시간 지연 임베딩(STDE)를 사용해 모델을 검증한다.

실험 결과

연구 질문

• RQ1 전역 계산을 피할 수 있는 국소적 파동 기반 과정으로서의 시각 주의는 어떻게 모델링할 수 있는가?
• RQ2 파동 전파 동역학과 기존의 중력 주의 모델 간의 관계는 무엇인가?
• RQ3 국소적 파동 모델이 스캔패스 예측에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 파동 속도는 중력 모델에 수렴하는 데 어떤 영향을 미치는가?
• RQ5 반복 억제는 파동 기반 주의 시스템에서 고정점 순환을 방지하는 데 어떤 역할을 하는가?

주요 결과

• 제안된 파동 기반 모델은 스캔패스 예측에서 최신 기술 수준의 성능을 달성했으며, 최고의 STDE 점수는 0.90으로, 모든 기준 모델을 능가했다.
• 모델은 평균 STDE 점수 3.88과 최고 STDE 점수 0.90을 기록하여 인간의 고정점 경로와 강한 일치를 보였다.
• 무한한 파동 속도 극한에서 모델은 푸아송 방정식으로 수렴하며, 최근 중력 모델과의 동치성을 설명한다.
• 파동 모델은 시공간 국소성을 보이며, 효율적인 SIMD 병렬 구현을 가능하게 하고 생물학적 타당성도 향상시킨다.
• 비지도 학습임에도 불구하고, 딥 가이즈 II와 SAM과 같은 지도 학습 모델을 능가하는 스캔패스 예측 성능을 보였다.
• 파동 메커니즘은 간접적으로 외측 자극 반응을 지원하고, 반복 억제를 통해 고정점 순환을 방지함으로써 동적 스캔패스의 현실감을 향상시킨다.