[논문 리뷰] Conformal Isometry of Lie Group Representation in Recurrent Network of Grid Cells

Dehong Xu, Ruiqi Gao외 3명|arXiv (Cornell University)|2022. 10. 06.

Topological and Geometric Data Analysis인용 수 9

한 줄 요약

이 논문은 자가운동의 리 대칭 표현에서 등각 등장비를 강제하는 비선형 순환 신경망 모델을 제안하여 정확한 경로 통합과 육각형 발화 패턴의 기원을 가능하게 한다. 이 모델은 최소한의 오차로 강건하고 장거리 경로 통합을 달성하며, 생물학적으로 타당한 격자 코드를 생성하는 데 있어 등각 등장비가 핵심임을 입증한다.

ABSTRACT

The activity of the grid cell population in the medial entorhinal cortex (MEC) of the mammalian brain forms a vector representation of the self-position of the animal. Recurrent neural networks have been proposed to explain the properties of the grid cells by updating the neural activity vector based on the velocity input of the animal. In doing so, the grid cell system effectively performs path integration. In this paper, we investigate the algebraic, geometric, and topological properties of grid cells using recurrent network models. Algebraically, we study the Lie group and Lie algebra of the recurrent transformation as a representation of self-motion. Geometrically, we study the conformal isometry of the Lie group representation where the local displacement of the activity vector in the neural space is proportional to the local displacement of the agent in the 2D physical space. Topologically, the compact abelian Lie group representation automatically leads to the torus topology commonly assumed and observed in neuroscience. We then focus on a simple non-linear recurrent model that underlies the continuous attractor neural networks of grid cells. Our numerical experiments show that conformal isometry leads to hexagon periodic patterns in the grid cell responses and our model is capable of accurate path integration. Code is available at \url{https://github.com/DehongXu/grid-cell-rnn}.

연구 동기 및 목표

• 격자 세포를 위한 순환 신경망 모델의 대수적, 기하적, 위상적 성질을 조사하기 위해.
• 신경 활동의 변환에서의 등각 등장비가 육각형 격자 패턴의 기원과 어떻게 관련되는지 탐구하기 위해.
• 비선형 순환 네트워크가 등각 등장비 조건 하에서 정확한 경로 통합을 지원할 수 있는지 평가하기 위해.
• 이전의 선형 모델을 보다 생물학적으로 현실적인 비선형 아키텍처, 예를 들어 보통 RNN과 LSTM으로 일반화하기 위해.
• 장거리 경로 통합 중 오차 누적를 보정하는 데 있어 재인코딩의 역할을 평가하기 위해.

제안 방법

• 자기운동을 표현하는 데 있어 속도 입력에 기반해 신경 활동을 갱신하는 순환 신경망으로 격자 세포 시스템을 모델링하기 위해.
• 신경 공간의 변환에서 국소 기하학적 구조가 물리적 공간 이동에 비례하도록 보장함으로써 등각 등장비를 강제하기 위해.
• 입력 속도에 대한 선형 변환과 요소별 ReLU 비선형성(보통 RNN) 또는 LSTM 유닛을 포함한 비선형 순환 아키텍처를 사용하기 위해.
• 실험적 격자 세포 지도와 유사한 구조적이고 주기적인 반응을 장려하는 손실 함수를 사용해 모델을 훈련하기 위해.
• 장거리 경로 통합 작업 중 오차 누적를 보정하기 위해 몇 단계마다 재인코딩을 적용하기 위해.
• 1000개의 경로를 기반으로 격자도 수치, 복원 오차, 궤적 복원 정확도를 사용해 성능을 평가하기 위해.

실험 결과

연구 질문

• RQ1 비선형 순환 네트워크에서 순환 변환의 등각 등장비가 육각형 격자 패턴의 기원을 이끌어내는가?
• RQ2 등각 등장비 조건 하에서 비선형 순환 모델이 정확한 장거리 경로 통합을 달성할 수 있는가?
• RQ3 재인코딩은 경로 통합 중 신경 표현의 오차 누적에 어떤 영향을 미치는가?
• RQ4 등각 등장비와 장소 세포 모델에서 관찰된 주파수 도메인 제약 조건 사이의 관계는 무엇인가?
• RQ5 LSTM과 같은 비선형 모델이 간단한 RNN보다 격자 코드의 기하학적 구조를 얼마나 잘 유지하는가?

주요 결과

• 등각 등장비 조건 하에서 모델은 격자 세포의 반응 지ap에서 육각형 격자 패턴을 성공적으로 생성하였다.
• 20단계마다 재인코딩을 적용한 결과, 500단계 동안 평균 경로 통합 오차는 0.017이었고, 최종 단계의 오차는 0.028이었다.
• 재인코딩 없이 실험한 경우, 500단계 동안 평균 오차는 0.03이었고, 최종 오차는 0.08이었으며, 이는 오차 누적가 발생했음을 시사한다.
• LSTM 기반 모델은 격자도 수치 0.73을 기록했고, 단위의 68.8%가 격자 세포로 분류되었다.
• 재인코딩을 적용한 LSTM 모델의 경우, 500단계 동안 평균 복원 오차는 0.027이었고, 500번째 단계의 오차는 0.037로 낮게 유지되었다.
• 고정점 테스트에서 모델은 <0.005의 거의 영오차를 기록하여 물리적 공간과 신경 공간 간의 정확한 인코딩 및 복원이 가능함을 확인하였다.