[논문 리뷰] Representational dissimilarity metric spaces for stochastic neural networks

Lyndon Duong, Jingyang Zhou외 4명|arXiv (Cornell University)|2022. 11. 21.

Morphological variations and asymmetry인용 수 9

한 줄 요약

이 논문은 신경망 반응의 노이즈 구조와 분산을 고려하여 결정론적 형태 미터릭을 일반화함으로써 확률적 신경망을 위한 표현 이질성 거리 공간을 도입한다. 제안된 미터릭은 삼각 부등식을 만족하며, 신경생물학적 시각 자극 표현이 훈련되지 않은 및 훈련된 딥 네트워크와 유사한 확률적 기하학을 띠고 있음을 드러내며, 이는 확률적 형태 공간을 통해 네트워크 하이퍼파rameter를 더 잘 예측할 수 있도록 한다.

ABSTRACT

Quantifying similarity between neural representations -- e.g. hidden layer activation vectors -- is a perennial problem in deep learning and neuroscience research. Existing methods compare deterministic responses (e.g. artificial networks that lack stochastic layers) or averaged responses (e.g., trial-averaged firing rates in biological data). However, these measures of _deterministic_ representational similarity ignore the scale and geometric structure of noise, both of which play important roles in neural computation. To rectify this, we generalize previously proposed shape metrics (Williams et al. 2021) to quantify differences in _stochastic_ representations. These new distances satisfy the triangle inequality, and thus can be used as a rigorous basis for many supervised and unsupervised analyses. Leveraging this novel framework, we find that the stochastic geometries of neurobiological representations of oriented visual gratings and naturalistic scenes respectively resemble untrained and trained deep network representations. Further, we are able to more accurately predict certain network attributes (e.g. training hyperparameters) from its position in stochastic (versus deterministic) shape space.

연구 동기 및 목표

• 기존의 표현 유사성 미터릭이 확률적 신경망에서 노이즈 구조를 忽略하는 데서 비롯되는 한계를 해결하기 위해.
• 삼각 부등식을 만족하는 수학적으로 엄밀한 확률적 표현을 위한 거리 공간을 개발하기 위해.
• 시각 자극에 대한 신경생물학적 및 인공 신경망의 확률적 기하학을 비교하기 위해.
• 결정론적 표현 공간 대비 확률적 표현 공간을 사용하여 네트워크 속성(예: 훈련 하이퍼파rameter)을 더 잘 예측하기 위해.

제안 방법

• 각 입력을 은닉층 활성화에 대한 확률 분포로 모델링함으로써 결정론적 형태 미터릭(Williams 등, 2021)을 확률적 네트워크로 일반화한다.
• 공분산 행렬에 대한 Bures 미터릭을 사용하여 확률적 네트워크 간의 거리 함수를 정의하며, 대칭성과 삼각 부등식을 보장한다.
• 비음수성과 삼각 부등식 제약 조건을 강제하여 유효하지 않은 거리 행렬을 수리적으로 수정하기 위해 이차계획법을 적용한다.
• 특이값 분해를 통해 효율적으로 Bures 미터릭을 계산하기 위해 직교 Procrustes 문제를 활용한다.
• 수렴이 단조롭게 보장되도록 거리 미터릭을 최적화하기 위해 주요화-최소화 알고리즘을 사용한다.
• 합성 데이터와 실제 시각 자극 반응 신경생물학적 데이터를 모두 활용하여 프레임워크의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 비결정론적 반응을 보이는 확률적 신경망에서 표현 이질성을 엄밀하게 정량화할 수 있는 방법은 무엇인가?
• RQ2 생물학적 신경망의 시각 자극 표현에 대한 확률적 기하학이 인공 딥 네트워크의 그것과 어느 정도 유사한가?
• RQ3 확률적 형태 공간은 결정론적 표현 공간에 비해 네트워크 하이퍼파rameter 예측을 향상시킬 수 있는가?
• RQ4 노이즈 상관관계는 확률적 네트워크에서 신경 표현 간의 분류 가능도에 어떤 영향을 미치는가?

주요 결과

• 기울기 방향의 시각 그레팅을 위한 신경생물학적 표현의 확률적 기하학은 훈련되지 않은 딥 네트워크와 유사하다.
• 자연스러운 풍경에 대한 표현의 확률적 기하학은 훈련된 딥 네트워크와 더 유사하다.
• 확률적 형태 공간은 학습률, 가중치 감쇠 등의 훈련 하이퍼파rameter를 결정론적 표현보다 더 정확하게 예측할 수 있다.
• 제안된 미터릭은 삼각 부등식을 만족하므로, 군집화나 비모수적 회귀와 같은 후속 분석에 이론적 보장을 제공한다.
• 노이즈 상관관계 구조는 분류 가능도에 상당한 영향을 미치며, 일부 구성에서는 자극 간 구분 능력을 향상시키고, 다른 구성에서는 떨어뜨린다.
• 프레임워크는 결정론적 형태 미터릭을 일반화하며, 노이즈가 점점 사라지는 극한에서 그것으로 수렴한다.