[논문 리뷰] How Deep is the Feature Analysis underlying Rapid Visual Categorization?

Sven Eberhardt, Jonah Cader외 1명|arXiv (Cornell University)|2016. 06. 03.

Face Recognition and Perception참고 문헌 16인용 수 17

한 줄 요약

이 연구는 동물 대 비동물 분류 작업에서 인간 행동 반응과 딥 네트워크 활성화를 비교함으로써 빠른 인간 분류에서 시각적 특징 처리의 깊이를 조사한다. 인간의 결정은 딥 네트워크의 중간 수준 특징과 가장 잘 상관관계를 보이며, 이는 인간이 중간 정도의 복잡한 표현 방식을 사용한다는 것을 시사한다. 반면 더 깊은 네트워크 레이어는 인간 성능을 초월하지만 결정 패턴에서 벗어나게 된다.

ABSTRACT

Rapid categorization paradigms have a long history in experimental psychology: Characterized by short presentation times and speedy behavioral responses, these tasks highlight the efficiency with which our visual system processes natural object categories. Previous studies have shown that feed-forward hierarchical models of the visual cortex provide a good fit to human visual decisions. At the same time, recent work in computer vision has demonstrated significant gains in object recognition accuracy with increasingly deep hierarchical architectures. But it is unclear how well these models account for human visual decisions and what they may reveal about the underlying brain processes. We have conducted a large-scale psychophysics study to assess the correlation between computational models and human participants on a rapid animal vs. non-animal categorization task. We considered visual representations of varying complexity by analyzing the output of different stages of processing in three state-of-the-art deep networks. We found that recognition accuracy increases with higher stages of visual processing (higher level stages indeed outperforming human participants on the same task) but that human decisions agree best with predictions from intermediate stages. Overall, these results suggest that human participants may rely on visual features of intermediate complexity and that the complexity of visual representations afforded by modern deep network models may exceed those used by human participants during rapid categorization.

연구 동기 및 목표

• 빠른 인간 시각적 분류 배경에 깔린 시각적 특징 분석의 깊이를 규명하기 위해.
• 인간보다 객체 인식에서 뛰어난 현대 딥 네트워크가 빠른 분류 작업에서 인간의 의사결정을 정확히 모델링하는지 평가하기 위해.
• 인간의 의사결정이 계산 모델 예측과 가장 잘 일치하는 시각 처리 단계를 특정하기 위해.
• 딥 네트워크의 깊이 증가가 인간 행동을 더 잘 모델링하는지, 아니면 인간 전략에서 벗어나게 되는지 조사하기 위해.

제안 방법

• 2,100개의 균형 잡힌 동물 및 비동물 이미지를 사용하여 아마존 메카니컬 터크에서 참가자 281명을 대상으로 대규모 심리물리 실험을 실시하였다.
• ImageNet에서 훈련된 최신의 세 개의 딥 네트워크—AlexNet, VGG16, VGG19—를 사용하여 특징 추출을 수행하였다.
• 모든 네트워크의 개별 레이어에서 활성화 반응을 추출하고 분석하여 인식 정확도와 인간-모델 일치도를 평가하였다.
• 각 레이어에서 모델 예측과 인간 반응 간 상관관계를 측정하였으며, 중간 처리 단계와 깊은 처리 단계를 중심으로 분석하였다.
• 시간이 인간-모델 일치도에 미치는 영향을 테스트하기 위해 반응 시간을 다양하게 조절한 제어 실험을 실시하였다 (500ms, 1000ms, 2000ms).
• 분류 정확도의 차이를 평가하기 위해 통계 분석(일원 분산분석, Tukey의 HSD)을 적용하였다.

실험 결과

연구 질문

• RQ1 빠른 분류 작업에서 인간의 의사결정이 딥 네트워크 예측과 가장 잘 일치하는 시각 처리 단계는 어디인가?
• RQ2 현대 딥 네트워크의 깊이 증가가 인간의 빠른 분류 행동을 더 잘 모델링하는 데 기여하는가, 아니면 인간 전략에서 벗어나게 되는가?
• RQ3 반응 시간이 다양한 네트워크 레이어에서 인간 의사결정과 모델 예측 간 상관관계에 어떻게 영향을 미치는가?
• RQ4 특정 유형의 이미지에서는 딥 네트워크가 인간을 초월하거나 뒤지게 되는가? 이러한 차이를 이끄는 시각적 특징은 무엇인가?

주요 결과

• 모든 모델에서 깊이가 증가할수록 딥 네트워크 레이어의 인식 정확도가 단조롭게 증가하였으며, 가장 깊은 레이어는 동일한 작업에서 인간 참가자보다 높은 성능을 보였다.
• 인간의 의사결정은 중간 레이어에서 모델 예측과 최대 상관관계를 보였으며, 특히 VGG16의 conv5_2 레이어 근처에서 나타났다. 이후 일치도는 감소하였다.
• 인간과 모델의 의사결정 간 최고 상관관계는 약 10단계의 처리 후에 발생하였으며, 이는 복합 시각 경로의 단계 수와 일치하였다.
• 더 깊은 레이어에서는 정확도는 높지만 인간 반응과의 일치도가 낮아졌으며, 특히 기형의 동물(예: 뱀), 숨겨진 동물, 비정상적인 물체 맥락에서 두드러졌다.
• 인간은 인상적인 직접 시각의 일러스트레이션(예: 카메라를 향해 있는 고양이)에서 딥 네트워크를 능가했으며, 이는 고수준의 친숙한 시각적 구성에 의존한다는 것을 시사한다.
• 반응 시간을 500ms에서 1000ms로 연장함으로써 인간의 정확도가 유의미하게 향상되었으며(74%에서 84%로), 2000ms에서는 추가로 향상되지 않았고, 시간 조건 간 인간-모델 일치 패턴은 안정적으로 유지되었다.