[论文解读] Big Data Spark Solution for Functional Magnetic Resonance Imaging

Saman Sarraf, Mehdi Ostadhashem|arXiv (Cornell University)|Mar 23, 2016

Functional Brain Connectivity Studies参考文献 13被引用 4

一句话总结

该论文提出了一种基于PySpark的流水线，通过利用内存内、分布式计算来加速功能性磁共振成像（fMRI）数据处理，以提取脑网络——特别是默认模式网络（DMN）——采用平方差和（SSD）模板匹配方法。该解决方案在单节点上相比纯Python实现了3.7倍的加速，且在集群上具有10–20倍的性能提升潜力，同时保持了准确性，并支持以多种格式灵活存储结果。

ABSTRACT

Recently, Big Data applications have rapidly expanded into different industries. Healthcare is also one the industries willing to use big data platforms so that some big data analytics tools have been adopted in this field to some extent. Medical imaging which is a pillar in diagnostic healthcare deals with high volume of data collection and processing. A huge amount of 3D and 4D images are acquired in different forms and resolutions using a variety of medical imaging modalities. Preprocessing and analyzing imaging data is currently a long process and cost and time consuming. However, not many big data platforms have been provided or redesigned for medical imaging purposes because of some restrictions such as data format. In this paper, we designed, developed and successfully tested a new pipeline for medical imaging data (especially functional magnetic resonance imaging - fMRI) using Big Data Spark / PySpark platform on a single node which allows us to read and load imaging data, convert them to Resilient Distributed Datasets in order manipulate and perform in-memory data processing in parallel and convert final results to imaging format while the pipeline provides an option to store the results in other formats such as data frame. Using this new solution and pipeline, we repeated our previous works in which we extracted brain networks from fMRI data using template matching and sum of squared differences (SSD) method. The final results revealed our Spark (PySpark) based solution improved the performance (in terms of processing time) around 4 times on a single compared to the previous work developed in Python.

研究动机与目标

• 为解决fMRI数据预处理与分析中的性能瓶颈问题，该问题耗时且计算成本高昂。
• 将Apache Spark等大数据技术与医学影像工作流集成，以实现对大规模神经影像数据集的可扩展、并行处理。
• 开发一种可移植、可扩展的流水线，支持内存计算和多种结果存储格式（例如，数据框、NIfTI）。
• 评估使用PySpark相较于传统Python实现，在基于模板的脑网络提取中的性能提升。
• 证明尽管存在数据格式和结构限制，将大数据平台适配至神经影像工作负载的可行性。

提出的方法

• 使用nibabel库将84个fMRI数据组件（NIfTI格式）加载到内存中。
• 将影像数据和预定义的DMN模板转换为Apache Spark的核心数据抽象——弹性分布式数据集（RDDs）。
• 通过PySpark的flatMap和zip操作在RDD上实现基于SSD的模板匹配，以计算空间坐标上的相似性。
• 并行应用SSD公式：$SSD = \sum_{x,y} [f(x,y) - t(x-u,y-v)]^2$，实现在各分区上的分布式计算。
• 将结果转换回标准影像格式（如NIfTI）或存储为数据框，以实现与其他大数据工具的互操作性。
• 在独立的单节点Spark部署环境中进行性能基准测试，将PySpark执行时间与原生Python实现进行比较。

实验结果

研究问题

• RQ1 与传统Python工作流相比，基于PySpark的流水线是否能显著减少fMRI数据分析的处理时间？
• RQ2 通过RDD实现的内存内、分布式处理，对基于模板的fMRI数据脑网络提取性能有何影响？
• RQ3 单节点Spark实现能在多大程度上加速神经影像中的SSD模板匹配？
• RQ4 该流水线是否能在保持准确性的前提下，支持超越标准神经影像格式的灵活输出格式？
• RQ5 当将流水线扩展至多节点集群或优化为完全并行执行时，性能提升的潜力有多大？

主要发现

• 基于PySpark的流水线将处理时间从纯Python的23.87秒减少至6.44秒，在单节点上实现了3.7倍的加速。
• 性能提升归因于Spark的RDD抽象带来的内存计算和并行处理能力，即使在单节点设置下也有效。
• 该流水线与原始Python实现保持了相同的准确性，证实性能提升未损害结果保真度。
• 该解决方案支持灵活的结果存储，允许输出以数据框或标准影像格式（如NIfTI）保存。
• 作者预测，当扩展至高性能集群并优化为完全并行执行时，性能可提升10–20倍。
• 本研究证明，尽管存在数据格式和领域特定约束，Spark等大数据平台仍可有效适配至神经影像工作负载。