[논문 리뷰] Generalized Shape Metrics on Neural Representations

Alex H. Williams, Erin M. Kunz외 2명|PubMed|2021. 10. 27.

Morphological variations and asymmetry참고 문헌 1인용 수 21

한 줄 요약

이 논문은 신경망 내 표현 이질성의 정량화를 위한 일반화된 거리공간 프레임워크를 제안하며, 삼각부등식을 통한 수학적 엄밀성을 확보한다. 표준 상관분석(CCA)을 수정하고 컨볼루션 계층을 고려한 새로운 거리측정법을 도입함으로써 수천 개의 인공 및 생물 신경망에 대한 강건하고 해석 가능한 분석이 가능해지며, 실증적 검증을 통해 심층학습 아키텍처의 해부학적 계층 구조 및 성능 상관관계를 강력하게 예측하는 데 성공한다.

ABSTRACT

Understanding the operation of biological and artificial networks remains a difficult and important challenge. To identify general principles, researchers are increasingly interested in surveying large collections of networks that are trained on, or biologically adapted to, similar tasks. A standardized set of analysis tools is now needed to identify how network-level covariates-such as architecture, anatomical brain region, and model organism-impact neural representations (hidden layer activations). Here, we provide a rigorous foundation for these analyses by defining a broad family of metric spaces that quantify representational dissimilarity. Using this framework, we modify existing representational similarity measures based on canonical correlation analysis and centered kernel alignment to satisfy the triangle inequality, formulate a novel metric that respects the inductive biases in convolutional layers, and identify approximate Euclidean embeddings that enable network representations to be incorporated into essentially any off-the-shelf machine learning method. We demonstrate these methods on large-scale datasets from biology (Allen Institute Brain Observatory) and deep learning (NAS-Bench-101). In doing so, we identify relationships between neural representations that are interpretable in terms of anatomical features and model performance.

연구 동기 및 목표

• 대규모 인공 및 생물 신경망 집합 간의 신경 표현을 비교하기 위한 수학적으로 엄밀한 프레임워크를 개발하기 위해.
• 기존 유사도 측정법이 삼각부등식을 위반하는 한계를 해결하여, 후속 기계학습 워크플로우의 성능을 향상시키기 위해.
• 컨볼루션 신경망의 인덕티브 바이어스에 맞는 새로운 측정법을 개발하기 위해.
• 신경 표현 거리공간을 저손실의 유클리드 임베딩으로 변환하여 표준 기계학습 방법과의 통합을 가능하게 하기 위해.
• 신경과학(Allen Brain Observatory) 및 심층학습(NAS-Bench-101)에서의 대규모 데이터셋을 대상으로 본 프레임워크의 유용성을 입증하기 위해.

제안 방법

• 대칭성과 삼각부등식을 만족하는 넓은 거리공간의 가족을 정의하여, 기존의 표현 유사도 측정법을 적절한 거리측정법으로 전환한다.
• k-NN 및 계층적 군집화에 이론적 보장을 부여하기 위해, 삼각부등식을 보장하도록 표준 상관분석(CCA)을 수정한다.
• 컨볼루션 계층의 인덕티브 바이어스를 반영하는 새로운 거리측정법을 제안하여 아키텍처의 인덕티브 바이어스와의 일치도 향상.
• 다차원 척도법(MDS)을 사용하여 신경 표현 거리공간을 최소한의 왜곡으로 저차원 유클리드 공간에 임베딩한다.
• MDS 임베딩에 커널 리지 회귀를 적용하여 신경 데이터의 기능적 반응에서 구조적 특징(예: 해부학적 계층)을 예측한다.
• 표준 기계학습 파ip라인(예: 군집화, 회귀, 분류)을 임베딩된 거리공간에 적용하여 대규모 분석의 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 기존의 표현 유사도 측정법을 체계적으로 삼각부등식을 만족하는 적절한 거리공간으로 전환할 수 있는가?
• RQ2 신경 표현에 대한 거리공간을 어떻게 구성할 수 있는가? 특히 컨볼루션 계층의 아키텍처 인덕티브 바이어스를 고려하여.
• RQ3 신경 표현 거리공간을 얼마나 낮은 왜곡으로 저차원 유클리드 공간에 임베딩할 수 있는가?
• RQ4 이러한 임베딩을 통해 수천 개의 네트워크에 대한 새로운 확장 가능한 분석이 가능해지는가? 예를 들어, 기능적 반응으로부터 해부학적 계층을 예측할 수 있는가?
• RQ5 대규모 인공 네트워크 집합에서의 초기층과 깊은 층 표현 간의 관계는 어떠한가?

주요 결과

• 제안된 프레임워크는 비거리측정법을 적절한 거리측정법으로 성공적으로 변환하여 k-NN 및 계층적 군집화에서 신뢰성 있는 사용이 가능하다.
• 새로운 컨볼루션 계층 인식 거리측정법은 아키텍처의 인덕티브 바이어스를 잘 반영하며, CNN 내 표현 정렬도 향상시킨다.
• L=20의 임베딩 차원을 사용한 다차원 척도법은 L=2에 비해 진짜 거리공간에 더 나은 근사치를 제공함을 시각화 및 회귀 작업에서 검증하였다.
• MDS 임베딩에 커널 리지 회귀를 적용한 결과, 쥐의 시각 피질에서의 시각 반응으로부터 해부학적 계층 점수를 강력하게 예측하는 데 성공하였으며, 오차 막대는 100회의 MDS 실행 간 일관성을 반영한다.
• NAS-Bench-101에서 432,000개의 아키텍처를 대상으로 초기층과 깊은 층 표현 간에 놀라울 정도의 높은 상관관계가 발견되어 공통된 표현 역학이 존재함을 시사한다.
• 본 프레임워크는 대규모 신경망 집합에 대한 확장 가능하고 해석 가능한 분석을 가능하게 하며, 표준 기계학습 파이프라인(예: 회귀, 군집화)과 직접 통합 가능하다.