[논문 리뷰] Statistical inference on representational geometries

Heiko H. Schütt, Alexander D. Kipnis외 2명|arXiv (Cornell University)|2021. 12. 16.

Functional Brain Connectivity Studies인용 수 9

한 줄 요약

이 논문은 뇌-계산 모델의 정확도를 예측된 표현 기하학의 구조(특히 자극에 대한 신경 집단 반응 간의 다변량 거리 구조) 기반으로 평가하기 위한 새로운 통계적 추론 방법을 제안한다. 2요인 교차검증과 부트스트래핑을 조합함으로써, 모델이 피험자나 조건에 과적합되지 않도록 하여 타당하고 일반화 가능한 모델 비교를 가능하게 하며, 공개된 도구를 이용해 시뮬레이션 및 실제 fMRI와 칼슘 이미징 데이터에서 검증되었다.

ABSTRACT

Neuroscience has recently made much progress, expanding the complexity of both neural-activity measurements and brain-computational models. However, we lack robust methods for connecting theory and experiment by evaluating our new big models with our new big data. Here, we introduce new inference methods enabling researchers to evaluate and compare models based on the accuracy of their predictions of representational geometries: A good model should accurately predict the distances among the neural population representations (e.g. of a set of stimuli). Our inference methods combine novel 2-factor extensions of crossvalidation (to prevent overfitting to either subjects or conditions from inflating our estimates of model accuracy) and bootstrapping (to enable inferential model comparison with simultaneous generalization to both new subjects and new conditions). We validate the inference methods on data where the ground-truth model is known, by simulating data with deep neural networks and by resampling of calcium imaging and functional MRI data. Results demonstrate that the methods are valid and conclusions generalize correctly. These data analysis methods are available in an open-source Python toolbox (rsatoolbox.readthedocs.io).

연구 동기 및 목표

• 고차원 신경 데이터에 대해 복잡한 뇌-계산 모델을 평가하는 데 증가하는 도전 과제를 해결하기 위해.
• 모델 비교 시 피험자나 실험 조건에 과적합되지 않도록 하는 강력한 통계적 추론 방법을 개발하기 위해.
• 부트스트래핑과 교차검증을 통해 새로운 피험자와 새로운 조건으로의 일반화 가능한 모델 비교를 가능하게 하기 위해.
• 지식이 있는 기준 모델이 있는 시뮬레이션 데이터와 실제 신경 데이터셋(fMRI 및 칼슘 이미징)을 통해 방법을 검증하기 위해.
• 신경과학에서 표현 유사성의 재현 가능한 분석을 위한 공개 소스 도구를 제공하기 위해.

제안 방법

• 피험자와 조건에 대해 별도로 교차검증을 수행하여 과적합을 방지하는 2요인 교차검증 프레임워크를 제안한다.
• 동시에 새로운 피험자와 새로운 조건으로 일반화할 수 있는 부트스트래핑 절차를 도입하여 모델 정확도에 대한 타당한 추론을 가능하게 한다.
• 표현 불일치 행렬(RDMs)을 사용하여 신경 집단 반응의 기하학을 정량화하며, 음수일 수 있고 노이즈에 편향되지 않은 교차검증 거리 추정기 사용.
• RDM 추정을 안정화하기 위해 정규화, 대각형, 수축 추정기(Ledoit-Wolf 및 Sch"{a}fer-Strimmer)를 이용한 노이즈 공분산 추정을 시행한다.
• 예측된 RDM과 측정된 RDM 간의 상관계수 또는 코사인 유사도를 통해 모델 비교를 수행하며, 부트스트래핑에서 편향 보정을 적용한다.
• 깊이 신경망 시뮬레이션과 실제 fMRI 및 칼슘 이미징 데이터의 재표본 추출을 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 제안된 추론 프레임워크는 피험자나 조건에 과적합되지 않고 모델 성능을 정확히 추정할 수 있는가?
• RQ2 새로운 피험자와 새로운 실험 조건에서 평가할 때 이 방법은 신뢰성 있게 일반화되는가?
• RQ3 지식이 있는 기준 모델이 있는 시뮬레이션 데이터에서 이 추론 방법은 얼마나 잘 작동하는가?
• RQ4 모델이 동일한 데이터에서 유도되었더라도, RDM을 기반으로 서로 다른 뇌 영역을 구분할 수 있는가?
• RQ5 이 방법은 fMRI와 칼슘 이미징을 포함한 다양한 신경 데이터 유형에 대해 강건한가?

주요 결과

• 제안된 추론 방법은 높은 노이즈와 제한된 데이터가 있는 다양한 시뮬레이션 조건에서도 타당하며, 제1종 오류 비율을 정확히 유지한다.
• 2요인 교차검증과 부트스트래핑 프레임워크는 지식이 있는 기준 모델이 있는 시뮬레이션을 통해 피험자나 조건에 과적합되지 않음을 입증하였다.
• 새로운 피험자와 새로운 조건으로도 정확한 모델 정확도 추정이 가능하며, fMRI 데이터에 대해 144,000회의 시뮬레이션과 칼슘 이미징 데이터에 대해 15,552개의 시뮬레이션 조건에서 정확한 일반화를 보였다.
• 실제 칼슘 이미징 데이터에서 이론적 유효성 검증을 위해 한 명의 피험자를 제외한 교차검증을 수행했을 때, 뇌 영역의 신원을 성공적으로 회복하였으며, 이는 신경 표현을 구분할 수 있음을 보여주었다.
• 공개 소스 툴박스 rsatoolbox.readthedocs.io를 통해 다양한 신경 데이터셋에서 표현 기하학의 재현 가능한 분석이 가능하다.
• 이 방법은 피험자와 조건의 변동성을 동시에 고려함으로써 기존 표준 방법보다 모델 비교 성능이 뛰어나다.