[논문 리뷰] Can Peripheral Representations Improve Clutter Metrics on Complex Scenes

Arturo Deza, Miguel P. Eckstein|arXiv (Cornell University)|2016. 01. 01.

Visual Attention and Saliency Detection인용 수 7

한 줄 요약

이 논문은 중심시각 주변의 시각 처리를 통합함으로써 복잡한 환경에서의 군중 예측을 향상시키는 포화된 군중 모델, 포화된 특징 혼잡도(FFC)를 제안한다. 특징 혼잡도에 중심시각에서의 비선형 왜곡 의존성 증폭(PIFC 계수)을 적용함으로써, FFC는 목표 탐지 성능과 유의미하게 더 강한 상관관계를 보이며(r = −0.82), 비포화 모델(r = −0.19)보다 뛰어난 성능을 나타내어 포화가 군중 인식에서 중요한 역할을 한다는 것을 입증한다.

ABSTRACT

Previous studies have proposed image-based clutter measures that correlate with human search times and/or eye movements. However, most models do not take into account the fact that the effects of clutter interact with the foveated nature of the human visual system: visual clutter further from the fovea has an increasing detrimental influence on perception. Here, we introduce a new foveated clutter model to predict the detrimental effects in target search utilizing a forced fixation search task. We use Feature Congestion (Rosenholtz et al.) as our non foveated clutter model, and we stack a peripheral architecture on top of Feature Congestion for our foveated model. We introduce the Peripheral Integration Feature Congestion (PIFC) coefficient, as a fundamental ingredient of our model that modulates clutter as a non-linear gain contingent on eccentricity. We finally show that Foveated Feature Congestion (FFC) clutter scores (r(44) = −0.82 ± 0.04, p < 0.0001) correlate better with target detection (hit rate) than regular Feature Congestion (r(44) = −0.19 ± 0.13, p = 0.0774) in forced fixation search; and we extend foveation to other clutter models showing stronger correlations in all cases. Thus, our model allows us to enrich clutter perception research by computing fixation specific clutter maps. Code for building peripheral representations is available.

연구 동기 및 목표

• 기존 군중 모델이 인간 시각의 포화 특성을 忽시하는 한계를 해결하기 위해, 주변 군중이 점점 더 나쁜 영향을 미치는 상황을 고려한다.
• 목표 탐색 작업에서 시점에서의 거리에 따라 변화하는 인지적 열화를 반영하는 포화된 군중 모델을 개발한다.
• 강제 고정 시선 탐색 작업에서 계산된 군중 지표와 인간 성능 간의 상관관계를 향상시킨다.
• 기존 군중 측정치에 주변 표현을 통합함으로써 고정 시선 기반 군중 맵 생성을 가능하게 한다.

제안 방법

• 공간적으로 변화하는 군중 효과를 모델링하기 위해 중심시각 주변 아키텍처를 추가함으로써 비포화된 특징 혼잡도 모델을 확장한다.
• 시점에서의 거리에 따라 조절되는 비선형 증폭 함수인 주변 통합 특징 혼잡도(PIFC) 계수를 도입하여 군중을 조절한다.
• PIFC 계수를 적용하여 시점에서의 거리에 따라 특징 혼잡도 값을 재가중한다.
• 시점에서의 거리에 따라 가중치를 적용하여 중심 및 주변 군중 추정치를 조합함으로써 포화된 특징 혼잡도(FFC) 점수를 구성한다.
• 인간 관찰자가 참여하는 강제 고정 시선 탐색 작업을 통해 모델을 검증하고 성공률을 측정한다.
• 포화된 접근 방식을 다른 군중 모델에 적용하여 일관된 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 주변 시각 처리를 통합함으로써, 복잡한 환경에서 군중 지표의 예측 능력이 향상되는가?
• RQ2 시점에서의 거리에 따라 조절되는 군중 조절이 강제 고정 시선 작업에서 목표 탐지 성능에 어떤 영향을 미치는가?
• RQ3 포화된 군중 모델이 인간의 탐색 행동과의 상관관계에서 비포화 모델을 능가할 수 있는가?
• RQ4 PIFC 계수는 고정 시선 위치에 대한 군중 점수 민감도를 어느 정도 향상시키는가?

주요 결과

• FFC 군중 점수는 목표 탐지 성공률과 강한 음의 상관관계가 있다(r(44) = −0.82 ± 0.04, p < 0.0001), 이는 높은 예측 정확도를 의미한다.
• 비포화된 특징 혼잡도 모델은 탐지 성능과 약한 상관관계를 보이며 유의미하지 않다(r(44) = −0.19 ± 0.13, p = 0.0774).
• 포화된 접근 방식은 특징 혼잡도 외에도 여러 군중 모델에서 인간 성능과의 상관관계를 향상시킨다.
• PIFC 계수는 고도의 시점에서 군중의 점점 더 나쁜 영향을 효과적으로 포착한다.
• 이 모델은 고정 시선 기반 군중 맵 생성을 가능하게 하여 시각 인식의 공간적 모델링을 향상시킨다.
• 주변 표현을 구축하기 위한 코드는 공개되어 있어 재현성과 확장성을 지원한다.