[논문 리뷰] Spatial and Colour Opponency in Anatomically Constrained Deep Networks

Ethan Harris, Daniela Mihai외 1명|arXiv (Cornell University)|2019. 10. 14.

Visual perception and processing mechanisms참고 문헌 25인용 수 6

한 줄 요약

이 논문은 생물학적 시각의 핵심 특징인 공간적 및 색채 반대성( opponency)이 망막 터널링(bottleneck)에 의해 제약을 받는 깊이 신경망에서 자연스럽게 나타남을 보여준다. 신경생리학적으로 유사한 분석을 통해 저자들은 자연 이미지 통계에 따라 스펙트럼적 및 공간적 반대성 세포, 이중 반대성 세포까지 포함하여 이러한 세포들이 나타남을 입증하며, 토끼 시각 시스템과 유사한 功能적 조직을 드러낸다.

ABSTRACT

Colour vision has long fascinated scientists, who have sought to understand both the physiology of the mechanics of colour vision and the psychophysics of colour perception. We consider representations of colour in anatomically constrained convolutional deep neural networks. Following ideas from neuroscience, we classify cells in early layers into groups relating to their spectral and spatial functionality. We show the emergence of single and double opponent cells in our networks and characterise how the distribution of these cells changes under the constraint of a retinal bottleneck. Our experiments not only open up a new understanding of how deep networks process spatial and colour information, but also provide new tools to help understand the black box of deep learning. The code for all experiments is avaialable at \url{https://github.com/ecs-vlc/opponency}.

연구 동기 및 목표

• 생물학적으로 타당한 제약 조건 하에서 깊이 신경망에서 공간적 및 색채 반대성이 유도되는지 조사하기.
• 스펙트럼적 및 공간적 반대성 특성에 따라 초기 레이어 유닛의 기능적 조직을 규명하기.
• 반대성 세포 분포가 입력 통계에 의해 유도되는지 아키텍처 설계에 의해 유도되는지 규명하기.
• 딥러닝 모델의 은닉 유닛 功能을 해석하기 위한 신경생리학적으로 유사한 도구 개발하기.

제안 방법

• 망막과 복측 경로를 모델링하기 위해 두 단계의 깊이 컨볼루션 신경망을 터널링이 있는 두 번째 레이어로 학습시키기.
• 미세 전극 유사 자극(격자 무늬, 색채 패치)을 사용하여 유닛 반응 탐색하기.
• 자극에 대한 반응 패턴에 따라 유닛을 스펙트럼적, 공간적, 또는 이중 반대성으로 분류하기.
• 빨간색/초록색 및 파랑/노랑색 자극에 대한 반응 차이를 측정하여 스펙트럼 반대성 측정하기.
• 이동하는 격자 무늬 자극에 대한 중심-주변 반응 패턴을 측정하여 공간 반대성 측정하기.
• CIELAB로 인코딩된 이미지로 학습하고 색채 채널을 무작위로 섞어 스펙트럼 통계를 파괴함으로써 결과 검증하기.

실험 결과

연구 질문

• RQ1 망막 터널링이 깊이 컨volution 신경망에서 스펙트럼적 및 공간적 반대성 세포의 출현을 유도하는가?
• RQ2 반대성 세포 유형의 분포가 네트워크 레이어와 터널링 너비에 따라 어떻게 변화하는가?
• RQ3 반대성 세포 특성이 자연 이미지의 통계적 구조에 얼마나 의존하는가?
• RQ4 자연 이미지로 학습한 깊이 신경망에서 이중 반대성 세포가 나타나며, 이는 레이어에 따라 어떻게 분포하는가?

주요 결과

• 망막 터널링은 기능적 계층을 유도한다: 초기 망막 레이어에는 주로 공간 반대성 세포가 있으며, 후속 복측 경로 레이어에는 비반대성 세포가 더 많다.
• 스펙트럼 반대성은 초기 레이어에서 가장 강하며 깊이가 증가함에 따라 감소하며, 생물학적 시각과 일치한다.
• 색채와 공간 패턴에 모두 반응하는 이중 반대성 세포는 터널링 너비가 작아질수록 나타나고 비율이 증가한다.
• CIELAB로 인코딩된 이미지로 학습했을 때도 이중 반대성 세포의 분포가 거의 동일하게 유지되어 색상 공간 변환에 대해 강건함을 보였다.
• 색채 채널을 섞는 것은 스펙트럼 반대성을 제거하지만 공간 반대성을 유지하며, 이는 반대성 반응이 아키텍처가 아닌 이미지 통계에서 기인함을 확인한다.
• 기능적 조직은 입력에 가까운 거리보다 출력 레이어에서의 거리에 더 강하게 연관되어 있어 깊이에 따라 기능적 아키타입이 결정됨을 시사한다.