[论文解读] Multi-Modal Neuroimaging Analysis and Visualization Tool (MMVT)

Ohad Felsenstein, Noam Peled+15 more|arXiv (Cornell University)|Dec 20, 2019

Functional Brain Connectivity Studies参考文献 51被引用 28

一句话总结

MMVT 是一款开源的多模态神经影像可视化工具，可实现对 MRI、CT、EEG、MEG、fMRI、PET 和颅内 EEG 数据的 3D 同时可视化与分析。它集成了预处理流程和基于 Blender 的图形界面，支持功能网络与电极位置相对于神经解剖结构的交互式、高保真 3D 渲染。

ABSTRACT

Sophisticated visualization tools are essential for the presentation and exploration of human neuroimaging data. While two-dimensional orthogonal views of neuroimaging data are conventionally used to display activity and statistical analysis, three-dimensional (3D) representation is useful for showing the spatial distribution of a functional network, as well as its temporal evolution. For these purposes, there is currently no open-source, 3D neuroimaging tool that can simultaneously visualize desired combinations of MRI, CT, EEG, MEG, fMRI, PET, and intracranial EEG (i.e., ECoG, depth electrodes, and DBS). Here we present the Multi-Modal Visualization Tool (MMVT), which is designed for researchers to interact with their neuroimaging functional and anatomical data through simultaneous visualization of these existing imaging modalities. MMVT contains two separate modules: The first includes complete stand-alone pre-processing pipelines, from raw data to statistical maps. The second module is an add-on to the open-source, 3D-rendering program Blender. It is an interactive graphical interface that enables users to simultaneously visualize multi-modality functional and statistical data on the cortex and in subcortical surfaces as well as the activity of invasive electrodes. This tool also enables highly accurate 3D visualization of neuroanatomy, including the location of invasive electrodes relative to brain structures. Each of the modules and module features can be integrated, separate from the tool, into existing data pipelines. MMVT leverages open-source software to build a comprehensive tool for data visualization and exploration This gives the tool a distinct advantage in both clinical and research domains as each has highly specialized visual and processing needs.

研究动机与目标

• 解决缺乏可同时以 3D 方式可视化多种神经影像模态的开源工具的问题。
• 支持研究人员探索多种成像技术下功能脑网络的空间与时间动态。
• 提供相对于皮层和皮层下结构的侵入性电极放置的精确 3D 可视化。
• 实现 MMVT 模块与现有神经影像数据流程的集成，以在科研与临床环境中灵活使用。
• 通过单一平台上的交互式多模态可视化，提升数据探索与解读能力。

提出的方法

• 开发了两个模块化组件：独立的预处理流程和用于 3D 可视化的 Blender 插件。
• 利用开源软件，确保可扩展性并兼容现有神经影像工作流程。
• 支持在 3D 大脑模型中同时渲染功能数据（如 fMRI、EEG、MEG）和解剖数据（MRI、CT）。
• 支持对颅内 EEG 数据（包括 ECoG、深度电极和 DBS 电极）的可视化，实现精确的空间配准。
• 提供交互式图形界面，实现实时导航与多模态数据探索。
• 将统计图与功能网络活动与高分辨率神经解剖结构集成，提升空间解读能力。

实验结果

研究问题

• RQ1 如何有效将来自不同来源的多模态神经影像数据（如 fMRI、EEG、MEG、PET、颅内 EEG）在 3D 空间中共同可视化？
• RQ2 开源工具能否实现相对于皮层和皮层下脑结构的侵入性电极精确 3D 定位？
• RQ3 交互式 3D 可视化在多大程度上提升了功能脑网络的探索与解读能力？
• RQ4 如何设计一个模块化、开源的框架，以与现有神经影像数据流程集成？
• RQ5 在 3D 空间中结合解剖与功能数据，对神经影像分析的清晰度与实用性有何影响？

主要发现

• MMVT 为多模态神经影像数据（包括颅内 EEG、fMRI、MEG 和结构影像）的 3D 可视化提供了一个全面的开源解决方案。
• 该工具可实现将侵入性电极精确配准到神经解剖结构，提升临床与科研的准确性。
• 基于 Blender 的插件支持在皮层和皮层下表面实时交互式可视化功能与统计数据。
• MMVT 的模块化设计允许独立使用预处理流程和可视化组件，支持集成到多样化的数据工作流中。
• 该工具支持多种成像模态的同时可视化，提升了在 3D 空间中对功能网络动态的解读能力。
• 通过利用开源软件，MMVT 确保了可扩展性与适应性，可满足科研与临床神经影像中特定需求。