[논문 리뷰] A Spectral Theory of Neural Prediction and Alignment

Abdülkadir Canatar, Jenelle Feather외 2명|arXiv (Cornell University)|2023. 09. 22.

Neural dynamics and brain function인용 수 5

한 줄 요약

이 논문은 깊이 있는 신경망(DNN) 표현과 시각皮질에서의 신경 반응 예측 능력 간의 스펙트럼 이론을 수립한다. 리지 회귀 오차를 기하학적 구성요소—오차 모드 반경과 차원 수—로 분해함으로써, 스펙트럼 편향과 작업-모델 정렬이 함께 예측 성능를 결정함을 드러내며, 이는 구조적으로 다른 DNN들이 효과적 차원 수나 활성화 기하학성에서 다름에도 불구하고 유사한 신경 예측성을 달성하는 이유를 설명한다.

ABSTRACT

The representations of neural networks are often compared to those of biological systems by performing regression between the neural network responses and those measured from biological systems. Many different state-of-the-art deep neural networks yield similar neural predictions, but it remains unclear how to differentiate among models that perform equally well at predicting neural responses. To gain insight into this, we use a recent theoretical framework that relates the generalization error from regression to the spectral properties of the model and the target. We apply this theory to the case of regression between model activations and neural responses and decompose the neural prediction error in terms of the model eigenspectra, alignment of model eigenvectors and neural responses, and the training set size. Using this decomposition, we introduce geometrical measures to interpret the neural prediction error. We test a large number of deep neural networks that predict visual cortical activity and show that there are multiple types of geometries that result in low neural prediction error as measured via regression. The work demonstrates that carefully decomposing representational metrics can provide interpretability of how models are capturing neural activity and points the way towards improved models of neural activity.

연구 동기 및 목표

• 구조적으로 다른 많은 깊이 있는 신경망이 시각 피질에서 신경 반응 예측 성능이 유사한 이유를 이해하기 위해.
• 신경 예측 오차를 일반화 오차와 관련된 기하학적 및 스펙트럼 구성요소로 분해하여 모델 성공의 근본 원리를 드러내기 위해.
• 분산 설명도와 같은 스칼라 메트릭을 넘어서 일반화 오차와 연결된 해석 가능한 기하학적 측정법을 도입하기 위해.
• DNN 활성화의 효과적 차원 수가 신경 예측 오차와 상관관계가 있는지 테스트하기 위해, 이는 이전 가정에 도전한다.
• DNN 표현 기하학성과 회귀 기반 신경 예측 성능 간의 이론적 프레임워크를 제공하기 위해.

제안 방법

• 통계역학 원리를 활용하여 신경 예측에서 리지 회귀 오차의 이론적 분해를 유도한다.
• 두 가지 핵심 스펙트럼 요소를 식별한다: 스펙트럼 편향(데이터 그램 행렬 고유값의 감쇠 속도)과 작업-모델 정렬(신경 반응이 모델 고유벡터에 투영된 정도).
• 두 가지 기하학적 측정법을 도입한다: 오차 모드 반경(Rem)과 오차 모드 차원 수(Dem)로, 이는 직접적으로 일반화 오차와 관련된다.
• ImageNet에서 훈련된 100개 이상의 DNN을 활용하여 시각 피질 부위(V1, V4, IT)의 fMRI/EEG 데이터로 테스트한다.
• 활성화 그램 행렬 고유값의 참가 비율을 통해 효과적 차원 수(ED)를 측정하며, 전체 활성화와 공간 평균화된 활성화를 비교한다.
• 고유값과 정렬 계수를 수정하여 아블레이션 연구를 수행함으로써, 각 요소가 예측 오차에 미치는 영향을 고립한다.

실험 결과

연구 질문

• RQ1 구조적으로 다른 깊이 있는 신경망이 내부 표현이 다름에도 불구하고 유사한 신경 예측 성능을 달성하는 이유는 무엇인가?
• RQ2 DNN 활성화의 스펙트럼 성질과 그 신경 반응과의 정렬이 함께 신경 예측의 회귀 오차를 어떻게 결정하는가?
• RQ3 DNN 활성화의 효과적 차원 수가 다양한 뇌 부위에서 신경 예측 오차와 상관관계가 있는가?
• RQ4 DNN 활성화의 공간 평균화가 차원 수와 예측 성능 간 진정한 관계를 왜곡하는 정도는 어느 정도인가?
• RQ5 오차 모드 반경과 차원 수와 같은 기하학적 측정법이 기존 메트릭을 넘어서 신경 예측 오차의 변동성을 설명할 수 있는가?

주요 결과

• 신경 예측 오차는 효과적 차원 수만으로 설명되는 것이 아니라, 스펙트럼 편향과 작업-모델 정렬의 조합이 가장 잘 설명한다.
• 제안된 기하학적 측정법인 오차 모드 반경(Rem)과 차원 수(Dem)는 일반화 오차의 구조를 직접적으로 캡처하며 관측된 예측 성능과 강하게 상관된다.
• 전체 DNN 활성화의 효과적 차원 수는 뇌 부위 간에 신경 예측 오차와 상관관계가 없으며, 이는 이전 연구에서 공간 평균화에 의존한 결과와 반대된다.
• DNN 활성화에 공간 평균화를 적용할 경우, 특히 IT와 V4에서 효과적 차원 수와 예측 오차 간 상관관계가 나타나지만, 이는 반응 변동성의 손실 때문이며 진정한 관계를 반영하지 못한다.
• 이론은 매우 다른 아키텍처와 표현을 가진 모델들이 유사한 신경 예측을 낼 수 있는 이유를 설명한다: 스펙트럼 편향과 정렬의 유리한 조합을 달성하기 때문이다.
• 고유값 감쇠를 줄이거나 정렬을 감소시키면 예측 오차가 증가함을 확인하여, 이론적 분해의 예측 능력을 확인한다.