[논문 리뷰] Capacity limitations of visual search in deep convolutional neural network.

Endel Põder|arXiv (Cornell University)|2017. 07. 31.

Face Recognition and Perception참고 문헌 23인용 수 5

한 줄 요약

이 연구는 단순한 특징과 복잡한 특징 구성이 포함된 시각적 검색 작업에서 세 가지 사전 훈련된 딥 컨volution 신경망의 성능을 평가한다. 인간과 달리, 단순한 구성에 대해서만 강한 능력 제한을 보이는 것이 아니라, 복잡한 구성에 대해서도 유사한 성능 제한을 보이며, 생물학적 시스템과는 달리 이들의 시각적 검색 처리 방식에 근본적인 차이가 있음을 시사한다.

ABSTRACT

Deep convolutional neural networks follow roughly the architecture of biological visual systems and have shown a performance comparable to human observers in object recognition tasks. In this study, I tested three pretrained deep neural networks in visual search for simple visual features, and for feature configurations. The results reveal a qualitative difference from human performance. It appears that there is no clear difference between searches for simple features that pop out in experiments with humans, and for feature configurations that exhibit strict capacity limitations in human vision. Both types of stimuli reveal comparable capacity limitations in the neural networks tested here.

연구 동기 및 목표

• 딥 뉴럴 네트워크가 인간과 유사한 시각적 검색 용량 제한을 보이는지 조사하기 위해
• ‘팝아웃’되는 단순 특징과 복잡한 특징 구성 간의 네트워크 성능를 비교하기 위해
• 딥 네트워크가 인간의 시각 시스템 제약과 유사하게 처리 용량 측면에서 정성적 차이를 보이는지 확인하기 위해

제안 방법

• 시각적 검색 작업을 통해 세 개의 사전 훈련된 딥 컨volution 신경망을 평가하였다.
• 자극으로는 단순한 시각적 특징(예: 색상 또는 방향)과 복잡한 특징 구성이 포함되었다.
• 목표 특징 탐지 성능는 정확도와 반응 시간으로 측정되었다.
• 팝아웃 특징과 비팝아웃 구성 간의 검색 효율성을 대비하여 실험를 수행하였다.
• 유사한 인간의 시각적 검색 데이터와 비교하여 용량 제한의 유사성 또는 차이점을 규명하였다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 인간 관찰자에서 관찰된 것과 유사한 시각적 검색 용량 제한을 보이는가?
• RQ2 팝아웃 특징과 복잡한 특징 구성 간의 네트워크 성능에 차이가 존재하는가?
• RQ3 딥 네트워크는 인간과 마찬가지로, 복잡한 구성에서 더 큰 제약을 받는다는 정성적 차이를 보이는가?

주요 결과

• 신경망은 단순한 특징과 복잡한 특징 구성 모두에서 유사한 용량 제한을 보였다.
• 인간의 시각과 달리, 단지 복잡한 구성에서만 엄격한 제한이 존재하는 것이 아니라, 네트워크는 두 유형의 자극을 구분하지 않았다.
• 팝아웃 특징에 대해 유의미한 성능 우월성이 관찰되지 않아, 자극의 주목성 기반 처리가 부족함을 시사한다.
• 결과는 딥 뉴럴 네트워크가 인간의 시각 시스템이 쉬운 시각적 검색 작업과 어려운 작업을 어떻게 구분하는지 모방하지 못하고 있음을 시사한다.
• 이 연구는 생물학적 시각적 검색과 현재의 딥 뉴럴 네트워크 행동 간에 용량 제약 측면에서 정성적 불일치가 있음을 드러낸다.