[논문 리뷰] Visual Saliency and Attention as Random Walks on Complex Networks

Luciano da Fontoura Costa|ArXiv.org|2006. 03. 05.

Data Visualization and Analytics참고 문헌 4인용 수 30

한 줄 요약

이 논문은 이미지 특징에서 파생된 복잡한 네트워크에서의 무작위 보행을 사용하여 생물학적으로 타당한 시각적 주목의 모델을 제안한다. 픽셀 또는 이미지 영역을 시각적 특징과 거리에 기반한 연결 가중치를 가진 노드로 모델링하고, 선호도 기반 무작위 보행을 통해 방문 빈도를 통해 주목 영역을 식별함으로써 주목과 네트워크 구조적 특성 간 강한 상관관계를 달성한다.

ABSTRACT

The current article shows how concepts from the areas of random walks, Markov chains, complex networks and image analysis can be naturally combined in order to provide a unified and biologically plausible model relating saliency and visual attention. Two types of models are proposed: (i) images are converted into complex networks by considering pixels as nodes while connections are established in terms of fields of influence defined by visual features such as tangent fields induced by gray-level contrasts and distance; and (ii) image pixels exhibiting particularly distinctive values of visual properties such as gray-level intensity, contrast, size of objects, orientation and texture are mapped into nodes and the weights of links are defined in order to favor transitions between regions with similar or different visual features, also taking the distance between the nodes into account. Preferential random walks are performed on such networks in order to emulate attentional shifts and eye movements, and the saliency of each region is obtained in terms of the frequency of visits to each node at equilibrium. In the case of the first model, there is a definite tendency to emphasize not only high curvature points but also convergences of the tangent field. The frequency of visits is found to be strongly correlated with the node degrees (strengths) for this model. Different results have been obtained for the second model as a consequence of the directed and asymmetric nature of the respectively obtained networks.

연구 동기 및 목표

• 복잡한 네트워크 이론과 무작위 보행의 개념을 활용하여 시각적 주목과 선택적 주목을 통합하는 생물학적으로 타당한 모델을 개발한다.
• 이미지 표현에서 공간적 및 특징 기반 연결성을 통합함으로써 전통적 주목 모델의 한계를 해결한다.
• 특징 기반 네트워크에서 선호도 기반 무작위 보행을 통해 주목의 이동과 눈동자 움직임을 시뮬레이션한다.
• 균형 상태에서의 방문 빈도를 통해 네트워크 구조적 특성(예: 노드의 차수, 강도)과 주목 간 직접적인 연결 고리를 수립한다.
• 대비, 곡률, 크기, 방향성 등의 시각적 특성 기반으로 이미지 영역을 모델링하여 다중 척도 주목 탐지 기능을 제공한다.

제안 방법

• 이미지의 픽셀 또는 사전 선택된 이미지 영역을 노드로 매핑하여 복잡한 네트워크로 변환한다.
• 노드 간 연결을 가중치 함수 w(i,j) = f(s(i),s(j)) / d(i,j)를 사용해 정의한다. 여기서 f는 시각적 특징 유사성(예: 밝기, 대비, 크기)을 측정하고, d는 공간적 거리이다.
• 마르코프 체인의 동역학을 위해 확률적 성질을 확보하기 위해 가중치 행렬을 열 정규화하여 전이 행렬을 구성한다.
• 전이 확률이 높은 연결을 선호하는 선호도 기반 무작위 보행을 네트워크에서 수행한다.
• 각 노드의 방문 빈도의 평형 상태를 주목의 우선순위로 간주하여 주목도를 계산한다.
• 첫 번째 모델은 토글 필드와 곡률 정보를 사용하여 가장자리와 교차점 강조를 위해 사용되며, 두 번째 모델은 특징 기반 노드 선택 및 비대칭 연결성에 중점을 둔다.

실험 결과

연구 질문

• RQ1 복잡한 네트워크 동역학을 활용하여 시각적 주목과 주목 이동을 통합된 과정으로 모델링할 수 있는가?
• RQ2 노드의 차수나 강도와 같은 네트워크 구조적 지표가 무작위 보행 모델에서 시뮬레이션된 주목도와 어느 정도 상관관계가 있는가?
• RQ3 대비, 크기, 방향성 등의 기반으로 구성된 특징 기반 네트워크가 효과적으로 주목 영역을 예측할 수 있는가?
• RQ4 연결 가중치에 거리와 특징 유사성이 포함될 경우 주목 패턴의 형성에 어떤 영향을 미치는가?
• RQ5 이 모델은 고대비 또는 곡률이 높은 영역에 주목이 증폭되는 것으로 알려진 심리물리적 결과를 재현할 수 있는가?

주요 결과

• 첫 번째 모델에서 주목도는 노드의 차수(또는 강도)와 강하게 상관되며, 특히 곡률이 높은 점과 토글 필드 수렴 지점에 강조된다.
• 첫 번째 모델에서 선호도 기반 무작위 보행은 가장자리 점과 교차점을 모두 주목 영역으로 성공적으로 식별하여 생물학적 주목 메커니즘을 모방한다.
• 두 번째 모델에서 주목도는 노드의 인강도 및 아웃강도와 직접적으로 상관되며, 이웃 노드의 시각적 특징에 크게 영향을 받는다.
• 디스크 필드 예제에서는 더 큰 디스크와 많은 인접 디스크에 둘러싸인 노드에서 주목도가 가장 높으며, 주목도와 디스크 반지름 간 강한 상관관계가 나타난다.
• 모델은 특징 유사도가 높고 근접한 영역일수록 무작위 보행 중 더 자주 방문되며, 이로 인해 주목도가 높아짐을 보여준다.
• 이 접근법은 다중 척도 주목 탐지가 가능하며, 가장자리의 탄젠트 선을 따라 픽셀을 단계적으로 증가시키는 방식으로 주목 탐지에 대해 계산적으로 효율적인 알고리즘을 제안한다.