[논문 리뷰] Soft Matching Distance: A metric on neural representations that captures single-neuron tuning

Meenakshi Khosla, Alex H. Williams|arXiv (Cornell University)|2023. 11. 16.

Advanced Neuroimaging Techniques and Applications인용 수 6

한 줄 요약

이 논문은 최적 운반 이론을 사용하여 크기가 다른 네트워크로의 일대일 뉴런 매칭을 일반화하는 회전에 민감하고 순열에 불민한 신경 표현을 위한 소프트 매칭 거리(Soft Matching Distance)를 소개한다. 이는 순열에 민감하지 않은 측도가 간과하는 신경 조정의 기하학적 구조를 드러내며, 인공 및 생물학적 네트워크 간에 단일 뉴런 조정이 유지됨을 보여주며, 선형 예측성과 같은 표준 측도보다 모델-뇌 유사성의 차이를 더 잘 구분한다.

ABSTRACT

Common measures of neural representational (dis)similarity are designed to be insensitive to rotations and reflections of the neural activation space. Motivated by the premise that the tuning of individual units may be important, there has been recent interest in developing stricter notions of representational (dis)similarity that require neurons to be individually matched across networks. When two networks have the same size (i.e. same number of neurons), a distance metric can be formulated by optimizing over neuron index permutations to maximize tuning curve alignment. However, it is not clear how to generalize this metric to measure distances between networks with different sizes. Here, we leverage a connection to optimal transport theory to derive a natural generalization based on "soft" permutations. The resulting metric is symmetric, satisfies the triangle inequality, and can be interpreted as a Wasserstein distance between two empirical distributions. Further, our proposed metric avoids counter-intuitive outcomes suffered by alternative approaches, and captures complementary geometric insights into neural representations that are entirely missed by rotation-invariant metrics.

연구 동기 및 목표

• 신경 표현에서 단일 뉴런 조정을 포착할 수 있는 측도를 개발하는 것. 이는 순열에 민감하지 않은 유사성 측도가 간과하는 바이다.
• 이전에 크기가 같은 네트워크에 국한되어 있던 일대일 뉴런 매칭을 크기가 다른 네트워크로 일반화하는 것.
• 대칭적이며 삼각 부등식을 만족하고, 다른 순환 민감한 접근 방식의 직관에 어긋나는 결과를 피하는 측도를 제공하는 것.
• 인공 및 생물학적 신경망 간에 단일 뉴런 조정이 유지되는지 경험적으로 평가하는 것.
• 경쟁적 가설 간의 판단을 위한 정량적 도구를 제공하는 것: '조정이 중요하다' 대비 '기하학적 구조만으로 충분하다'

제안 방법

• 이 방법은 최적 운반 이론을 활용하여 두 네트워크의 뉴런 간 소프트 순열(소프트 할당)을 계산함으로써 크기가 다른 네트워크 간의 매칭을 가능하게 한다.
• 측도는 조정 곡선의 경험적 분포 간의 워샤르의 정의를 사용하여 정의되며, 대칭성과 삼각 부등식을 보장한다.
• 소프트 매칭은 비용 행렬이 뉴런 간 조정 곡선 유사도를 코딩하는 정규화된 최적 운반 문제를 해결하여 달성된다.
• 이 방법은 윌리엄스 등 [13]의 순열 기반 프로크루스테스 방법을 비정수적이고 확률적인 뉴런 할당을 允허하는 프레임워크로 일반화한다.
• 측도는 뉴런 인덱스 순열에 대해 불변이지만, 회전에 민감하여 조정 곡선의 기하학적 구조를 유지한다.
• 이 방법은 딥 네트워크의 표현과 인간 시각皮질의 fMRI 데이터 간 비교에 적용된다.

Figure 1: (A) Example tuning curves from 3 neurons over a 1D stimulus space. (B) Manifold (black curve) arising from tuning curves from panel A in 3D neural firing rate space. Each coordinate axis encodes a single-neural firing rate, colored as in panel A. (C) A rotated manifold with the same shape

실험 결과

연구 질문

• RQ1 뉴런 인덱스 순열에 대해 불변이면서도 단일 뉴런 조정을 포착할 수 있는 측도를 개발할 수 있는가?
• RQ2 일대일 뉴런 매칭을 크기가 다른 네트워크로 일반화할 수 있는가?
• RQ3 소프트 매칭 거리는 순열에 민감하지 않은 측도가 간과하는 신경 표현의 기하학적 구조를 드러내는가?
• RQ4 단일 뉴런 조정이 인공 네트워크 간 및 인공과 생물학적 신경망 간에 유지되는가?
• RQ5 소프트 매칭 거리는 표준 선형 예측성 또는 순열에 민감하지 않은 측도보다 모델 아키텍처와 뇌 영역 간의 차이를 더 잘 구분하는가?

주요 결과

• 소프트 매칭 거리는 최적 운반 이론에서 유도된 소프트 할당을 사용하여 크기가 다른 네트워크로의 일대일 매칭을 성공적으로 일반화한다.
• 측도는 대칭적이며 삼각 부등식을 만족하므로 메트릭 공간 내의 유효한 거리이다.
• CIFAR10과 CIFAR100에서, 랜덤 시드, 아키텍처, 훈련 제원에 관계없이 활성화 기저의 재현 가능한 수렴이 드러났다.
• 뇌 네트워크 비교에서, 소프트 매칭 거리는 선형 예측성보다 컨볼루션 네트워크와 트랜스포머 간의 차이를 더 잘 구분했으며, 물체 분류 모델과 가장 잘 맞는 후두 시각 경로를 식별하는 데 성공했다.
• 측도는 CKA와 RSA와 같은 순열에 민감하지 않은 측도가 감지하지 못한 모델-뇌 유사성의 유의미한 차이를 탐지했다.
• 경험적 결과는 단일 뉴런 조정이 우연의 수준을 초월해 인공 및 생물학적 네트워크 간에 유지됨을 지지하며, 기하학적 구조 외에도 조정이 중요하다는 가설을 뒷받침한다.

Figure 2: (A) One-to-one matching distance, schematized as alignment of $M$ points in $N$ -dimensional space by optimally permuting coordinate axes. Colors denote landmark labels (e.g. image labels) that are common across the two networks. (B) Dual perspective of one-to-one matching distance, schema