[논문 리뷰] Self-Supervised Learning of Representations for Space Generates Multi-Modular Grid Cells

Rylan Schaeffer, Mikail Khona외 4명|arXiv (Cornell University)|2023. 11. 04.

Single-cell and spatial transcriptomics인용 수 26

한 줄 요약

논문은 속도 입력에 대해 순환 신경망을 학습시켜 공간 표현을 학습하는 자기지도 학습(SSL) 프레임워크 SIC를 제안하며, 감독된 위치 데이터 없이도 격자-세포와 유사한 다중 모듈을 나타내고, 이런 발견된 표현은 더 큰 환경으로 일반화되며 격자처럼 모듈화된 구조를 보인다.

ABSTRACT

To solve the spatial problems of mapping, localization and navigation, the mammalian lineage has developed striking spatial representations. One important spatial representation is the Nobel-prize winning grid cells: neurons that represent self-location, a local and aperiodic quantity, with seemingly bizarre non-local and spatially periodic activity patterns of a few discrete periods. Why has the mammalian lineage learnt this peculiar grid representation? Mathematical analysis suggests that this multi-periodic representation has excellent properties as an algebraic code with high capacity and intrinsic error-correction, but to date, there is no satisfactory synthesis of core principles that lead to multi-modular grid cells in deep recurrent neural networks. In this work, we begin by identifying key insights from four families of approaches to answering the grid cell question: coding theory, dynamical systems, function optimization and supervised deep learning. We then leverage our insights to propose a new approach that combines the strengths of all four approaches. Our approach is a self-supervised learning (SSL) framework - including data, data augmentations, loss functions and a network architecture - motivated from a normative perspective, without access to supervised position information or engineering of particular readout representations as needed in previous approaches. We show that multiple grid cell modules can emerge in networks trained on our SSL framework and that the networks and emergent representations generalize well outside their training distribution. This work contains insights for neuroscientists interested in the origins of grid cells as well as machine learning researchers interested in novel SSL frameworks.

연구 동기 및 목표

• 코딩 이론, 다이내믹스 및 최적화를 결합한 규범적 원리에서 왜 격자처럼 다중 모듈 표현이 나타나는지 동기 부여한다.
• 명시적 위치 감독 없이 속도 시퀀스에서 공간 표현을 학습하는 순수 SSL 프레임워크를 제안한다.
• SSL로 학습된 네트워크가 여러 격자 모듈을 개발하고 학습 분포를 넘어 일반화하는지 보여준다.
• emergent 신경 표현을 특징지으며 각 손실 구성 요소의 역할을 비교 평가한다(ablation을 통해).

제안 방법

• 속도 시퀀스로부터 임의의 교차를 만들어 트래크터리 교차를 생성하도록 SSL 학습 데이터를 구성한다.
• 속도 조건부 상호작용 행렬 W(v) = MLP(v) 및 동역학 g_t = Norm(ReLU(W(v_t) g_{t-1}))를 갖는 RNN을 사용한다.
• 붕괴를 방지하기 위해 표현의 비음수성 및 단위 노름 제약을 적용한다.
• 네 가지 SSL 손실을 정의한다: L_Sep (분리), L_Inv (경로 불변), L_Cap (용량), L_ConIso (등각 등거리).
• 손실들을 결합하여 L = λ_Sep L_Sep + λ_Inv L_Inv + λ_Cap L_Cap + λ_ConIso L_ConIso 로 SIC 프레임워크를 형성한다.

실험 결과

연구 질문

• RQ1 SSL 프레임워크가 감독된 공간 목표 없이도 심층 순환 네트워크에서 다중 모듈 격자-세포 표현을 생성할 수 있는가?
• RQ2 데이터 조합, 증가(augmented) 및 손실의 어떤 조합이 격자와 같은 모듈 코딩 및 경로 적분 동역학을 만들어내는가?
• RQ3 emergent 표현은 더 큰 공간과 다양한 속도 통계에 어떻게 일반화되는가?
• RQ4 각 손실 항이 격자 모듈을 생성하고 보존하는 데 어떤 역할을 하는가?

주요 결과

• SIC 프레임워크로 학습된 네트워크는 공간적으로 주기적인 선호도와 이산적인 다중 격자 모듈을 갖는 뉴런을 개발한다.
• 발현된 격자-세포 표현은 학습 중에 보지 않은 환경보다 큰 환경과 다양한 속도 통계로 일반화된다.
• 개체군 분석은 발현된 표현에서 토로이달 어트랙터 매니폴드와 육각 격자 유사 구조를 드러낸다.
• 용량 손실 또는 다른 손실을 제거하면 모듈식 격자-유사 구조가 파괴되며 때로는 장소세포 유사 코드나 공간 조정의 손실이 나타난다.
• 이 프레임워크는 서로 다른 주기와 방향을 가지는 세 개의 공공 모듈 격자 집단을 산출하여 생물학적 격자-세포 모듈성과 유사한 특성의 모듈성을 보인다.