[논문 리뷰] A normative theory of adaptive dimensionality reduction in neural networks

Cengiz Pehlevan, Dmitri B. Chklovskii|arXiv (Cornell University)|2015. 12. 07.

Neural dynamics and brain function참고 문헌 38인용 수 27

한 줄 요약

이 논문은 신경망에서 생물학적으로 타당한 온라인 알고리즘을 제안하여 입력 데이터의 고유스펙트럼에 기반해 출력 차원을 동적으로 조정하는 적응형 차원 축소를 수행한다. 소프트-임계값, 하드-임계값, 등가-임계값 처리된 고유값에 기반한 세 가지 목적 함수를 유도하였으며, 국소 학습 규칙을 통해 최적화하였다. 두 가지 네트워크 아키텍처는 자연스럽게 주성분과 내경계뉴런 유사 집단을 생성한다.

ABSTRACT

To make sense of the world our brains must analyze high-dimensional datasets streamed by our sensory organs. Because such analysis begins with dimensionality reduction, modeling early sensory processing requires biologically plausible online dimensionality reduction algorithms. Recently, we derived such an algorithm, termed similarity matching, from a Multidimensional Scaling (MDS) objective function. However, in the existing algorithm, the number of output dimensions is set a priori by the number of output neurons and cannot be changed. Because the number of informative dimensions in sensory inputs is variable there is a need for adaptive dimensionality reduction. Here, we derive biologically plausible dimensionality reduction algorithms which adapt the number of output dimensions to the eigenspectrum of the input covariance matrix. We formulate three objective functions which, in the offline setting, are optimized by the projections of the input dataset onto its principal subspace scaled by the eigenvalues of the output covariance matrix. In turn, the output eigenvalues are computed as i) soft-thresholded, ii) hard-thresholded, iii) equalized thresholded eigenvalues of the input covariance matrix. In the online setting, we derive the three corresponding adaptive algorithms and map them onto the dynamics of neuronal activity in networks with biologically plausible local learning rules. Remarkably, in the last two networks, neurons are divided into two classes which we identify with principal neurons and interneurons in biological circuits.

연구 동기 및 목표

• 조기 감각 처리를 위한 온라인 차원 축소에서 생물학적 타당성의 격차를 해소하기 위해.
• 신경망이 입력 데이터의 내재적 차원에 따라 출력 차원 수를 동적으로 조정할 수 있도록 하기 위해.
• 입력 공분산 고유값에 기반한 임계값 처리된 고유값으로 스케일링된 주부분공간에 대한 투영을 최적화하는 목적 함수를 도출하기 위해.
• 이 목적 함수들을 국소 시냅스 가소성 규칙과 호환되는 온라인 학습 알고리즘으로 매핑하기 위해.
• 유도된 네트워크 동역학에서 나타나는 기능적 뉴런 집단(주성분 뉴런과 내경계뉴런 유사 집단)을 식별하기 위해.

제안 방법

• 입력 공분산 행렬의 소프트-임계값, 하드-임계값, 등가-임계값 처리된 고유값으로 스케일링된 주부분공간에 대한 입력 데이터의 투영을 최적화하는 세 가지 오프라인 목적 함수를 수립한다.
• 국소 학습 규칙 하에 목적 함수에 기울기 상승을 적용하여 온라인 알고리즘을 도출함으로써 생물학적 타당성을 확보한다.
• 유도된 신경망 동역학을 두 가지 다른 뉴런 집단으로 매핑한다: 하나는 감소된 차원을 인코딩하는 주성분 뉴런을 나타내며, 다른 하나는 활동성과 안정성을 조절하는 내경계뉴런을 나타낸다.
• 순환 연결성과 국소 가소성 규칙을 갖춘 신경망 아키텍처를 사용하여 적응형 차원 축소 과정을 구현한다.
• 출력 고유값이 입력 공분산 고유값을 임계값 처리 연산을 통해 유도되는 피드백 메커니즘을 활용한다.
• 하드-임계값 처리 및 등가-임계값 처리 변형이 자연스럽게 뉴런을 두 가지 기능적 집단으로 나누며, 생물학적 주성분 및 내경계뉴런 집단을 모방한다.

실험 결과

연구 질문

• RQ1 신경망에서 차원 축소가 입력 데이터의 고유스펙트럼에 기반해 출력 차원 수를 어떻게 동적으로 조정할 수 있는가?
• RQ2 어떤 목적 함수가 주부분공간에 대한 투영을 최적화하면서도 임계값 처리된 고유값을 고려한 온라인, 생물학적으로 타당한 학습을 가능하게 하는가?
• RQ3 순환 네트워크에서 국소 학습 규칙이 주성분 및 내경계뉴런 유사 기능적 뉴런 집단을 어떻게 유도하는가?
• RQ4 임계값 전략(소프트, 하드, 등가)과 분리된 신경 집단의 유도 간의 관계는 무엇인가?
• RQ5 이러한 네트워크의 동역학이 조기 인지에서의 생물학적 감각 처리 회로의 행동을 재현할 수 있는가?

주요 결과

• 제안된 알고리즘은 입력 데이터의 고유스펙트럼에 기반해 출력 차원 수를 동적으로 조정함으로써 적응형 차원 축소를 달성한다.
• 하드-임계값 처리 및 등가-임계값 처리 변형은 각각 주성분 뉴런과 내경계뉴런으로 식별되는 두 가지 명확한 뉴런 집단을 자연스럽게 유도한다.
• 하드-임계값 처리 및 등가-임계값 처리 목적 함수 하에서의 네트워크 동역학은 알려진皮질 미세회로 조직 구조와 일치하는 안정적이고 생물학적으로 타당한 활동 패tern을 보인다.
• 소프트-임계값 처리 변형은 명확한 기능적 뉴런 집단 분할을 유도하지 않으며, 네트워크 구성에서의 정량적 차이를 시사한다.
• 모든 세 알고리즘은 통합된 MDS 기반 목적 함수에서 유도되며, 고전적 차원 축소 원칙과의 일관성을 보장한다.
• 온라인 학습 규칙은 완전히 국소적이므로, 최소한의 전역 정보를 필요로 하여 생물학적 신경 회로에 구현하기에 적합하다.