[논문 리뷰] Emergence of functional and structural properties of the head direction system by optimization of recurrent neural networks

Christopher J. Cueva, Peter Y. Wang외 2명|arXiv (Cornell University)|2019. 12. 21.

Neural dynamics and brain function참고 문헌 59인용 수 26

한 줄 요약

이 연구는 역행 신경망(RNN)을 이용해 각속도를 통합함으로써 머리 방향 추정을 학습시키면, 생물학적으로 타당한 기능적 및 구조적 특성—특히 콈프와 슈퍼 신경세포—가 자발적으로 나타나며, 설치류 및 과일파리의 머리 방향 시스템과 유사한 연결 패턴과 역학을 보인다는 것을 보여준다. 확률적 경사 하강법을 통한 최적화는 사전 구조적 제약 없이도 신경 활동과 해부학적 조직을 재현하는 네트워크를 생성한다.

ABSTRACT

Recent work suggests goal-driven training of neural networks can be used to model neural activity in the brain. While response properties of neurons in artificial neural networks bear similarities to those in the brain, the network architectures are often constrained to be different. Here we ask if a neural network can recover both neural representations and, if the architecture is unconstrained and optimized, the anatomical properties of neural circuits. We demonstrate this in a system where the connectivity and the functional organization have been characterized, namely, the head direction circuits of the rodent and fruit fly. We trained recurrent neural networks (RNNs) to estimate head direction through integration of angular velocity. We found that the two distinct classes of neurons observed in the head direction system, the Compass neurons and the Shifter neurons, emerged naturally in artificial neural networks as a result of training. Furthermore, connectivity analysis and in-silico neurophysiology revealed structural and mechanistic similarities between artificial networks and the head direction system. Overall, our results show that optimization of RNNs in a goal-driven task can recapitulate the structure and function of biological circuits, suggesting that artificial neural networks can be used to study the brain at the level of both neural activity and anatomical organization.

연구 동기 및 목표

• 목표 지향적 훈련을 통해 제약 없는 RNN이 생물학적 신경 회로의 기능적 및 구조적 특성을 복원할 수 있는지 조사하기.
• 간단한 각속도 통합 작업에 훈련된 인공 신경망이 설치류 및 과일파리의 머리 방향 시스템에서 관찰된 신경 반응 특성을 재현할 수 있는지 확인하기.
• 훈련된 RNN의 연결 패턴과 역학이 실제 뇌 회로—특히 아트랙터 역학과 네트워크 조직 측면에서—유사한지 탐색하기.
• 확률적 경사 하강법을 통한 최적화가 사전 구조적 편향 없이도 전문화된 신경세포 유형(콤퍼스 및 슈퍼 신경세포)과 같은 잠재적 특성을 유도하는지 평가하기.
• 작업 최적화된 인공 네트워크를 활용해 기능적, 구조적, 기계적 수준에서 신경 회로를 다수의 수준에서 모델링할 수 있는 프레임워크 제공하기.

제안 방법

• 100개의 유닛을 가진 연속 시간 RNN을 사용하여, 각속도 통합을 통해 머리 방향을 추정하도록 훈련시켰다. 초기화는 무작위이며, 자기 연결이 없는 구조를 사용했다.
• 표준 RNN 역학 방정식을 사용하였으며, rectified tanh 비선형성, 노이즈 항목, 그리고 훈련된 확률적 경사 하강법을 적용한 순환 및 입력 가중치 행렬을 포함했다.
• 초기 머리 방향(사인 및 코사인을 통한 표현)과 각속도(반시계 방향은 양수, 시계 방향은 음수)를 입력으로 제공하였고, 네트워크는 두 개의 선형 읽기 출력 뉴런을 통해 추정된 머리 방향을 출력하였다.
• 네트워크 역학을 탐색하고 아트랙터 유사 행동을 식별하기 위해 펌프팅 분석과 固定点 분석을 실시하였다. 이는 머리 방향의 안정된 표현을 나타낸다.
• 인공 네트워크의 구조와 기능을 생물학적 머리 방향 시스템과 비교하기 위해 연결성 분석 및 인-시뮬레이션 신경생리학 분석을 수행하였다.
• 훈련 중에 구조적 제약을 피함으로써, 네트워크 조직의 잠재적 형성은 오로지 작업 최적화에 의해 결정되도록 하였다.

실험 결과

연구 질문

• RQ1 목표 지향적 훈련을 통해 제약 없는 RNN이 생물학적 머리 방향 시스템에서 관찰된 콈프 및 슈퍼 신경세포와 같은 기능적 신경세포 유형을 유도할 수 있는가?
• RQ2 훈련된 RNN의 연결 패턴과 역학적 특성이 설치류 및 과일파리의 생물학적 머리 방향 회로와 얼마나 유사한가?
• RQ3 확률적 경사 하강법을 통한 최적화가 실제 신경 회로의 해부학적 및 기능적 조직을 반영하는 네트워크 아키텍처를 얼마나 잘 생성하는가?
• RQ4 다양한 입력 통계는 훈련된 RNN의 최종 신경 표현과 네트워크 구조에 어떤 영향을 미치는가?
• RQ5 간단한 통합 작업에 훈련된 인공 신경망은 잘 알려진 생물학적 신경 회로의 기능적 활동과 구조적 레이아웃을 모두 재현할 수 있는가?

주요 결과

• 생물학적 머리 방향 시스템의 핵심 기능적 유형인 콈프 및 슈퍼 신경세포가 사전 구조적 편향 없이 훈련된 RNN에서 자연스럽게 나타났다.
• 연결성 분석을 통해 인공 네트워크와 생물학적 머리 방향 시스템 간의 구조적 유사성이 드러났으며, 알려진 회로 모티프와 일치하는 순환 연결 패턴이 확인되었다.
• 인-시뮬레이션 신경생리학 분석 결과, RNN가 아트랙터 역학을 보이며 시간에 따라 안정적이고 연속적인 머리 방향 표현을 지원함을 확인하였다.
• 네트워크의 기능적 조직, 특히 머리 방향과 각속도에 대한 동시 조절 특성은 훈련 후에만 나타났으며, 무작위로 초기화된 네트워크에서는 관찰되지 않았다.
• 고정점 분석을 통해 RNN 내에서 아트랙터 역학의 증거를 확보하였으며, 이는 시간에 걸쳐 각속도를 안정적으로 통합하는 메커니즘을 시사한다.
• 다른 입력 통계는 서로 다른 네트워크 아키텍처를 유도하였으며, 이는 최적의 네트워크 구조가 작업 요구 조건에 따라 달라지며, 수작업 설계된 모델로는 예측하기 어려운 성질임을 시사한다.