[논문 리뷰] Prune and distill: similar reformatting of image information along rat visual cortex and deep neural networks

Paolo Muratore, Sina Tafazoli외 3명|arXiv (Cornell University)|2022. 05. 27.

Neural dynamics and brain function인용 수 8

한 줄 요약

이 연구는 심층 신경망(DNNs)과 쥐의 시각皮質이 시각 정보를 계층적으로 처리하는 과정에서 핵심적인 계산 원리를 공유하고 있음을 밝혀냈다: 저수준 특징(예: 밝기, 대비, 방향성)과 차원 감소를 통해 시각 정보를 재구성하는 방식으로, 이는 허벅지형(하구백) 인트라인스 차원성 프로파일을 반영한다. DNN에서는 훈련 과정에서 불필요한 이미지 특징을 능동적으로 정제하고 제거하는 반면, 쥐의 복측 시각 경로에서는 유사한 정보 손실 및 표현 압축 패턴이 발생하여 계층적 시각 처리에서 공통된 기능적 논리가 존재함을 시사한다.

ABSTRACT

Visual object recognition has been extensively studied in both neuroscience and computer vision. Recently, the most popular class of artificial systems for this task, deep convolutional neural networks (CNNs), has been shown to provide excellent models for its functional analogue in the brain, the ventral stream in visual cortex. This has prompted questions on what, if any, are the common principles underlying the reformatting of visual information as it flows through a CNN or the ventral stream. Here we consider some prominent statistical patterns that are known to exist in the internal representations of either CNNs or the visual cortex and look for them in the other system. We show that intrinsic dimensionality (ID) of object representations along the rat homologue of the ventral stream presents two distinct expansion-contraction phases, as previously shown for CNNs. Conversely, in CNNs, we show that training results in both distillation and active pruning (mirroring the increase in ID) of low- to middle-level image information in single units, as representations gain the ability to support invariant discrimination, in agreement with previous observations in rat visual cortex. Taken together, our findings suggest that CNNs and visual cortex share a similarly tight relationship between dimensionality expansion/reduction of object representations and reformatting of image information.

연구 동기 및 목표

• 심층 신경망(DNNs)과 쥐의 시각皮질이 계층적 처리 과정에서 시각 정보를 재구성하는 데 핵심 원리를 공유하는지 조사하기.
• 이전에 DNN에서 관찰된 바와 같이, 쥐의 복측 시각 경로에서 물체 표현의 내재 차원성(ID)이 허벅지형 프로파일을 따르는지 테스트하기.
• 저수준 이미지 특징(밝기, 대비, 방향성, 모서리)이 DNN의 계층을 거쳐 점차 제거되거나 정제되는지, 이는 쥐의 시각皮질에서의 발견과 유사한지 검토하기.
• 양 시스템에서 표현 차원성, 특징 정제, 분류 성능 간의 功能적 연관성 평가하기.
• 관찰된 DNN의 패턴이 순수한 구조적 제약 때문이 아니라 훈련의 결과임을 확인하기.

제안 방법

• VGG-16의 계층과 쥐 시각皮질(V1, LM, LI, LL)의 신경 기록에서 물체 표현의 내재 차원성(ID)을 무작위 투영 기반 추정을 사용해 측정.
• 쥐의 코르티컬 영역를 통해 시각 불변 물체 인식 성능을 평가하기 위해 신경 인구 반응에 대한 선형 분류기 훈련.
• 상호정보량 추정을 사용해 DNN 계층의 개별 유닛에서 저수준 특징(밝기, 대비, 방향성, 모서리 감도)에 대한 정보를 정량화.
• 특히 방향성 및 다중 방향성(모서리) 감도 변화에 중점을 두고 DNN의 특징 인코딩 경향을 쥐의 시각皮질과 비교.
• 훈련된 DNN를 사용하여, 저수준 특징의 정제가 네트워크 깊이 또는 수용 영역 크기의 결과로만 발생하는 것이 아니라, 훈련 과정에서 활성적으로 일어나는지 테스트.
• DNN 계층의 개별 유닛이 인코딩하는 카테고리 정보와 분류 정확도 간의 관계 분석.

실험 결과

연구 질문

• RQ1 DNN에서 관찰된 바와 같이, 쥐의 복측 시각 경로에서 물체 표현의 내재 차원성(ID)이 허벅지형 프로파일을 따르는가?
• RQ2 DNN는 훈련 과정에서 쥐의 시각皮질에서 관찰된 정보 손실와 유사하게 저수준 이미지 특징(예: 밝기, 대비, 방향성)을 능동적으로 정제하고 제거하는가?
• RQ3 생물학적 및 인공 시각 계층에서 표현의 차원 감소와 특정 이미지 특징의 정제/정제 간 기능적 연관성이 존재하는가?
• RQ4 자연 이미지로 조사했을 때, 쥐와 원숭이의 시각皮질에서 관찰된 방향성 및 모서리 선택성에 대한 감도 경향이 DNN에서도 유사하게 나타나는가?
• RQ5 DNN에서 관찰된 이미지 특징의 정제가 훈련의 결과이지, 수용 영역 크기 증가와 같은 순수한 구조적 특성의 산물인가?

주요 결과

• 쥐의 복측 시각 경로에서 물체 표현의 내재 차원성(ID)은 허벅지형 프로파일을 따르며, 초기 확장 이후 수축하는 패턴을 보이며, 이는 이전에 심층 CNN에서 관찰된 바와 일치한다.
• VGG-16에서 밝기 및 대비와 같은 저수준 특징에 대한 정보는 계층을 거치며 점차 제거되며, 이는 쥐의 시각皮질에서의 발견과 일치한다.
• 방향성 및 모서리 정보에 대한 민감도는 DNN 계층을 거치며 증가하며, 초기 계층은 낮은 감도를 보이고 후기 계층은 높은 선택성을 보여, 쥐의 복측 시각 경로와 유사한 정제 과정을 반영한다.
• DNN에서 저수준 특징의 정제는 구조적 깊이 또는 수용 영역 성장의 결과로만 발생하는 것이 아니라, 훈련에 의해 유도되는 능동적 과정임을 확인했다.
• VGG-16 계층을 거치며 분류 정확도가 증가하는 것과 함께, 개별 유닛이 인코딩하는 카테고리 정보의 증가가 밀접하게 연관되어 있으며, 이는 쥐의 시각皮질에서 단일 유닛의 불변성과 인구 수준의 인식 성능 간의 관계를 유사하게 반영한다.
• 이 연구는 생물학적 및 인공 시각 시스템 간 공통된 기능적 논리가 존재함을 드러내며, 차원 감소와 특징 정제가 서로 밀접하게 연결되어 있어 계층적 시각 처리의 근본 원리임을 시사한다.