[논문 리뷰] Generative Models of Brain Dynamics -- A review

Mahta Ramezanian Panahi, Germán Abrevaya외 4명|arXiv (Cornell University)|2021. 12. 22.

Neural Networks and Applications인용 수 5

한 줄 요약

이 리뷰는 사전 지식과 데이터 기반 학습을 통합함으로써 뇌 동역학을 모델링하는 데 있어 유사한 생물물리학적, 현상학적, 데이터 기반 접근 방식을 포함한 생성 모델을 보다 우수한 프레임워크로 제안한다. 특히 일반화된 미분 방정식(UDEs)과 GOKU-nets가 신경망 아키텍처 내에 알려진 물리 법칙과 미분 방정식을 통합함으로써 해석 가능성, 생물학적 타당성, 일반화 능력을 향상시키는 핵심 방법으로서 강조된다.

ABSTRACT

The principled design and discovery of biologically- and physically-informed models of neuronal dynamics has been advancing since the mid-twentieth century. Recent developments in artificial intelligence (AI) have accelerated this progress. This review article gives a high-level overview of the approaches across different scales of organization and levels of abstraction. The studies covered in this paper include fundamental models in computational neuroscience, nonlinear dynamics, data-driven methods, as well as emergent practices. While not all of these models span the intersection of neuroscience, AI, and system dynamics, all of them do or can work in tandem as generative models, which, as we argue, provide superior properties for the analysis of neuroscientific data. We discuss the limitations and unique dynamical traits of brain data and the complementary need for hypothesis- and data-driven modeling. By way of conclusion, we present several hybrid generative models from recent literature in scientific machine learning, which can be efficiently deployed to yield interpretable models of neural dynamics.

연구 동기 및 목표

• 신경과학에서 블랙박스 기계학습 모델의 한계를 해결하기 위해 가설 검증과 기계적 이해를 지원하는 생성 모델을 주장함.
• 생물물리학적, 현상학적, 무지표적(agnostic) 접근 방식을 포함한 다양한 척도와 추상화 수준의 모델링 접근 방식을 통합된 뇌 동역학 프레임워크로 융합함.
• 임상 및 인지 신경과학에서 인덕티브 바이어스, 데이터 부족, 생물학적 타당성 간의 균형을 고려한 모델의 필요성을 강조함.
• 하이브리드 생성 모델이 신경 데이터 분석에서 해석 가능성, 일반화 능력, 과학적 재현 가능성을 어떻게 향상시킬 수 있는지 설명함.
• 연구자들이 데이터 가용성과 과학적 목표에 따라 적절한 모델링 척도와 추상화 수준을 선택할 수 있도록 길라임을 제공함.

제안 방법

• 생성 모델을 세 영역으로 분류함: 생물물리학적(생물학적 제약을 통합), 현상학적(관측된 동역학 기반), 무지표적(최소한의 가정을 가진 데이터 기반).
• 신경망을 사용해 알려진 편미분방정식(PDE)의 미지 항을 학습하는 일반화된 미분 방정식(UDEs)을 도입함으로써 물리 법칙을 유지함.
• 잠재 공간에 명시적이고 알려진 미분 방정식(예: 쿠라모토, 반더폴)을 통합한 변분 오토에인코더로서의 GOKU-nets를 제시함으로써 직접 상태 변수 관측 없이도 사전 지식 통합이 가능함.
• UDEs에 기호적 회귀(SINDy)를 신경망과 융합하여 제한된 데이터에서 동역학 발견 속도를 가속화함.
• 편미분 방정식을 딥러닝 파ip라인 내에 통합한 하이브리드 아키텍처를 사용하여 물리적 일관성과 해석 가능성 확보함.
• 단일 뉴런에서 전체 뇌 네트워크에 이르기까지 다양한 척도에서 원칙적이고 가설 기반의 프레임워크를 사용한 모델링을 주장함.

실험 결과

연구 질문

• RQ1 표준 블랙박스 기계학습 모델에 비해 생성 모델이 신경 동역학의 해석 가능성과 과학적 재현 가능성에 어떻게 기여할 수 있는가?
• RQ2 생물물리학적, 현상학적, 무지표적 모델링 접근 방식 간의 주요 차이점은 무엇이며, 이는 뇌 동역학을 어떻게 다르게 반영하는가?
• RQ3 신경 동역학은 정준 물리적 동역학계와 어떻게 다를가? 이러한 차이점에 대응하기 위해 모델은 어떻게 적응해야 하는가?
• RQ4 제한적이고 노이즈가 많은 신경 데이터를 어떻게 하이브리드 생성 아키텍처를 통해 사전 지식을 통합하여 효과적으로 모델링할 수 있는가?
• RQ5 UDEs와 GOKU-nets는 희소하거나 완전하지 않은 데이터에서 신경 동역학을 얼마나 빠르게 발견할 수 있도록 가속화할 수 있는가?

주요 결과

• 특히 편미분 방정식을 통한 사전 지식 통합을 통해 우수한 해석 가능성과 과학적 통찰을 제공하는 생성 모델은 순수 예측적 블랙박스 모델보다 열등하지 않다.
• UDEs를 사용하면 알려진 PDE의 미지 항을 학습함으로써 미지의 동역학을 정확하게 모델링할 수 있으며, 기호적 회귀와 결합할 경우 제한된 데이터 상황에서 성능 향상이著명하다.
• GOKU-nets는 상태 변수를 직접 관측할 필요 없이도 알려진 동역학계(예: 반더폴)를 잠재 공간에 통합할 수 있어 모델의 타당성을 향상시킨다.
• UDEs와 GOKU-nets와 같은 하이브리드 생성 모델은 생물물리학적 및 현상학적 제약 조건을 딥러닝 아키텍처에 통합함으로써 더 뛰어난 일반화 능력과 과학적 유용성을 달성한다.
• 생물학적 신경과학, 동역학계 이론, 인공지능을 생성 모델링을 통해 융합함으로써 검증 가능한 가설을 수립하고 새로운 과학적 질문을 도출할 수 있다.
• 신경 기록에서 데이터 부족과 노이즈가 존재하더라도 이러한 모델들은 다양한 척도에서 생물학적으로 타당하고 재현 가능한 신경 동역학 표현을 도출할 수 있다.