[논문 리뷰] Multi-Modal Neuroimaging Analysis and Visualization Tool (MMVT)

Ohad Felsenstein, Noam Peled외 15명|arXiv (Cornell University)|2019. 12. 20.

Functional Brain Connectivity Studies참고 문헌 51인용 수 28

한 줄 요약

MMVT는 MRI, CT, EEG, MEG, fMRI, PET 및 침습적 뇌전도 측정 데이터를 3차원에서 동시에 시각화하고 분석할 수 있는 오픈소스 다중 모odal 뇌영상 시각화 도구입니다. 이 도구는 사전 처리 파이프라인과 Blender 기반의 그래픽스 인터페이스를 통합하여 기능적 네트워크와 전극 위치를 뇌해부학에 대해 상호작용 가능하고 고해상도의 3차원 렌더링으로 제공합니다.

ABSTRACT

Sophisticated visualization tools are essential for the presentation and exploration of human neuroimaging data. While two-dimensional orthogonal views of neuroimaging data are conventionally used to display activity and statistical analysis, three-dimensional (3D) representation is useful for showing the spatial distribution of a functional network, as well as its temporal evolution. For these purposes, there is currently no open-source, 3D neuroimaging tool that can simultaneously visualize desired combinations of MRI, CT, EEG, MEG, fMRI, PET, and intracranial EEG (i.e., ECoG, depth electrodes, and DBS). Here we present the Multi-Modal Visualization Tool (MMVT), which is designed for researchers to interact with their neuroimaging functional and anatomical data through simultaneous visualization of these existing imaging modalities. MMVT contains two separate modules: The first includes complete stand-alone pre-processing pipelines, from raw data to statistical maps. The second module is an add-on to the open-source, 3D-rendering program Blender. It is an interactive graphical interface that enables users to simultaneously visualize multi-modality functional and statistical data on the cortex and in subcortical surfaces as well as the activity of invasive electrodes. This tool also enables highly accurate 3D visualization of neuroanatomy, including the location of invasive electrodes relative to brain structures. Each of the modules and module features can be integrated, separate from the tool, into existing data pipelines. MMVT leverages open-source software to build a comprehensive tool for data visualization and exploration This gives the tool a distinct advantage in both clinical and research domains as each has highly specialized visual and processing needs.

연구 동기 및 목표

• 다양한 뇌영상 모달리티를 동시에 3차원에서 시각화할 수 있는 오픈소스 도구의 부족을 해결하기 위해.
• 다양한 영상 기법을 통해 기능적 뇌망의 공간적·시간적 동역학을 탐색할 수 있도록 연구자들을 지원하기 위해.
• 침습적 전극 배치를 대뇌 피질 및 고위 구조에 대해 정확하게 3차원으로 시각화하기 위해.
• MMVT 모듈을 기존 뇌영상 데이터 파이프라인에 통합하여 연구 및 임상 현장에서의 영리한 사용을 가능하게 하기 위해.
• 단일 플랫폼에서 상호작용 가능한 다중 모달리티 시각화를 통해 데이터 탐색 및 해석을 향상시키기 위해.

제안 방법

• 독립형 사전 처리 파이프라인과 3차원 시각화를 위한 Blender 애드온으로 구성된 두 가지 모듈식 구성 요소를 개발함.
• 기존 뇌영상 워크플로우와의 호환성과 확장성을 보장하기 위해 오픈소스 소프트웨어를 활용함.
• 기능적 데이터(e.g., fMRI, EEG, MEG)와 해부학적 데이터(MRI, CT)를 3차원 뇌 모델에서 동시에 렌더링할 수 있음.
• 정확한 공간 정렬을 통해 침습적 뇌전도 데이터(ECoG, 깊이 전극, DBS 리드 포함)의 시각화를 지원함.
• 실시간으로 다중 모달리티 데이터를 탐색하고 탐색할 수 있는 상호작용 가능한 그래픽스 인터페이스를 제공함.
• 고해상도 뇌해부학과 통계 지ap 및 기능적 네트워크 활동을 통합하여 공간적 해석을 향상시킴.

실험 결과

연구 질문

• RQ1 fMRI, EEG, MEG, PET, 침습적 뇌전도 등 다양한 출처의 다중 모달 뇌영상 데이터를 3차원 공간에서 효과적으로 함께 시각화할 수 있는가?
• RQ2 오픈소스 도구를 통해 침습적 전극의 대뇌 피질 및 고위 뇌구조에 대한 정확한 3차원 위치를 특정할 수 있는가?
• RQ3 상호작용 가능한 3차원 시각화가 기능적 뇌망의 탐색 및 해석에 얼마나 기여하는가?
• RQ4 기존 뇌영상 데이터 파이프라인에 통합될 수 있는 모듈식 오픈소스 프레임워크는 어떻게 설계할 수 있는가?
• RQ5 3차원에서 해부학적 데이터와 기능적 데이터를 통합함으로써 뇌영상 분석의 명확성과 유용성은 어떻게 향상되는가?

주요 결과

• MMVT는 침습적 뇌전도, fMRI, MEG 및 구조적 영상 포함 다중 모달 뇌영상 데이터의 종합적인 오픈소스 3차원 시각화 솔루션을 제공함.
• 도구는 뇌해부학에 대한 침습적 전극의 정밀한 공간 정렬을 가능하게 하여 임상 및 연구 정확도를 향상시킴.
• Blender 기반 애드온을 통해 대뇌 피질 및 고위 구조 표면에 기능적 및 통계적 데이터를 실시간으로 상호작용 가능하게 렌더링함.
• MMVT의 모듈식 설계 덕분에 사전 처리 파이프라인과 시각화 구성 요소를 별도로 사용할 수 있으며, 다양한 데이터 워크플로우에 통합 가능함.
• 도구는 여러 영상 모달리티를 동시에 시각화할 수 있어 3차원 공간에서 기능적 네트워크 동역학의 해석을 향상시킴.
• 오픈소스 소프트웨어를 활용함으로써 MMVT는 연구 및 임상 뇌영상 분야에서 특수한 요구사항에 맞게 확장성과 적응성을 확보함.