[논문 리뷰] Visual Search Asymmetry: Deep Nets and Humans Share Similar Inherent Biases

Shashi Kant Gupta, Mengmi Zhang외 3명|arXiv (Cornell University)|2021. 06. 05.

Visual perception and processing mechanisms인용 수 8

한 줄 요약

이 논문은 시각적 검색 비대칭성—즉, 목표 A를 배경 물체 B 중에서 찾는 것이 반대의 경우보다 더 쉽다는 현상—을 설명하기 위해 비편심성 의존 시각 처리와 상향식 주의를 통합한 계산 모델 eccNET을 제안한다. 작업에 특화된 훈련 없이도 모델은 ImageNet에서의 사전 훈련 동안 통계적 특성에 의해 유도되는 바이어스가 인간의 검색 비대칭 패턴을 재현하며, 이는 작업 자체에 대한 명시적 학습이 아니라 ImageNet의 통계적 특성에서 기인한다.

ABSTRACT

Visual search is a ubiquitous and often challenging daily task, exemplified by looking for the car keys at home or a friend in a crowd. An intriguing property of some classical search tasks is an asymmetry such that finding a target A among distractors B can be easier than finding B among A. To elucidate the mechanisms responsible for asymmetry in visual search, we propose a computational model that takes a target and a search image as inputs and produces a sequence of eye movements until the target is found. The model integrates eccentricity-dependent visual recognition with target-dependent top-down cues. We compared the model against human behavior in six paradigmatic search tasks that show asymmetry in humans. Without prior exposure to the stimuli or task-specific training, the model provides a plausible mechanism for search asymmetry. We hypothesized that the polarity of search asymmetry arises from experience with the natural environment. We tested this hypothesis by training the model on augmented versions of ImageNet where the biases of natural images were either removed or reversed. The polarity of search asymmetry disappeared or was altered depending on the training protocol. This study highlights how classical perceptual properties can emerge in neural network models, without the need for task-specific training, but rather as a consequence of the statistical properties of the developmental diet fed to the model. All source code and data are publicly available at https://github.com/kreimanlab/VisualSearchAsymmetry.

연구 동기 및 목표

• 목표물과 배경 물체의 정체성에 따라 검색 효율성이 달라지는 시각적 검색 비대칭성의 신경 및 계산적 기제를 이해하기 위해.
• 딥 네ural 네트워크가 작업에 특화된 미세조정 없이도 인간의 행동을 반영하는 바이어스를 자발적으로 보이는지 조사하기 위해.
• 검색 비대칭성의 극성(양극성)이 아키텍처 설계 외에도 훈련 데이터의 통계적 규칙성(예: ImageNet)에서 기인하는지 테스트하기 위해.
• 생물학적으로 유사한 계산 프레임워크를 통해 인간의 시각적 검색 심리물리적 발견과 딥 러닝 모델에서 나타나는 잠재적 바이어스를 연결하기 위해.

제안 방법

• eccNET이라는 모델은 원숭이의 중심시 및 주변시각 처리를 시뮬레이션하기 위해 비편심성 의존 풀링 레이어를 갖춘 VGG16 기반 백본을 사용한다.
• 목표물의 특징을 저장하고 검색 이미지의 활성도를 조절하여 상향식 주의를 적용함으로써 순차적 눈동자 이동을 유도한다.
• 눈동자 이동 경로는 상향식 주의와 하향식 특징을 조합한 사전 지도를 기반으로 다음 고정 위치를 반복적으로 선택함으로써 생성된다.
• 모델은 객체 분류를 위해 ImageNet에서 사전 훈련된 후, 추가 미세조정 없이 6개의 고전적 시각적 검색 비대칭 과제에서 테스트된다.
• 훈련 데이터 통계의 역할을 테스트하기 위해, 이미지를 90도 회전시킨 증강된 ImageNet으로 재훈련한다.
• 성능 평가 기준으로 누적 검색 정확도, 인간 데이터와의 스캔패스 유사도, 집합 크기 함수로서의 반응 시간을 사용한다.

실험 결과

연구 질문

• RQ1 작업에 특화된 훈련 없이도 딥 네럴 네트워크 모델이 인간의 시각적 검색 비대칭성을 재현할 수 있는가?
• RQ2 검색 비대칭성의 극성이 객체의 방향성과 레이아웃과 같은 훈련 데이터의 통계적 특성에 의존하는가?
• RQ3 사전 훈련 데이터의 인덕티브 바이어스가 검색 비대칭성과 같은 복잡한 시각적 행동을 얼마나 깊이 형성하는가?
• RQ4 상향식 주의와 비편심성 의존 처리가 인간과 인공 네트워크에서 효율적인 시각적 검색을 어떻게 공동으로 기여하는가?

주요 결과

• eccNET 모델은 작업에 특화된 미세조정 없이도 6개의 심리물리적 실험에서 인간의 검색 비대칭 패턴을 자동으로 재현하며, 인간의 성능 극성과 일치한다.
• 90도로 뒤집힌 ImageNet 버전으로 재훈련한 후, 모델의 검색 비대칭 극성이 반전되거나 사라졌으며, 이는 데이터 통계가 바이어스를 결정함을 보여준다.
• 모델의 누적 검색 성능와 인간 관찰자와의 스캔패스 유사도는 IVSN과 같은 최신 모델과 유사했으며, 특히 객체 어레이 및 자연 이미지 검색 과제에서 뛰어났다.
• 하향식 사전 지도의 포함으로 모델의 고정 위치 예측 능력이 향상되었지만, 핵심적인 비대칭성은 상향식 주의와 비편심성 의존 처리에서 기인하였다.
• 상향식 주의 지ap은 목표물과 일치하는 특징을 우선적으로 처리하며, 복잡한 배경 물체 배열에서도 목표물 근처에서 최대 활성도를 보였다.
• 모델의 반응 시간은 인간 데이터와 유사하게 집합 크기가 증가함에 따라 증가했으며, 이는 행동적 프록시로서의 타당성을 뒷받침한다.