[논문 리뷰] Big Data Spark Solution for Functional Magnetic Resonance Imaging

Saman Sarraf, Mehdi Ostadhashem|arXiv (Cornell University)|2016. 03. 23.

Functional Brain Connectivity Studies참고 문헌 13인용 수 4

한 줄 요약

이 논문은 기능적 자기공명영상(fMRI) 데이터 처리를 가속화하기 위해 PySpark 기반 파이프라인을 제안한다. 이는 메모리 기반 분산 컴퓨팅을 활용하여 뇌 네트워크, 특히 기본 모드 네트워크(DMN)를 제곱차합(SSD) 템플릿 매칭을 통해 추출한다. 단일 노드에서 순수한 파이썬 대비 3.7배 빠른 성능을 달성했으며, 클러스터에서 10~20배 향상 가능할 잠재력을 보이며 정확도를 유지하면서도 다양한 형식으로 결과를 저장할 수 있다.

ABSTRACT

Recently, Big Data applications have rapidly expanded into different industries. Healthcare is also one the industries willing to use big data platforms so that some big data analytics tools have been adopted in this field to some extent. Medical imaging which is a pillar in diagnostic healthcare deals with high volume of data collection and processing. A huge amount of 3D and 4D images are acquired in different forms and resolutions using a variety of medical imaging modalities. Preprocessing and analyzing imaging data is currently a long process and cost and time consuming. However, not many big data platforms have been provided or redesigned for medical imaging purposes because of some restrictions such as data format. In this paper, we designed, developed and successfully tested a new pipeline for medical imaging data (especially functional magnetic resonance imaging - fMRI) using Big Data Spark / PySpark platform on a single node which allows us to read and load imaging data, convert them to Resilient Distributed Datasets in order manipulate and perform in-memory data processing in parallel and convert final results to imaging format while the pipeline provides an option to store the results in other formats such as data frame. Using this new solution and pipeline, we repeated our previous works in which we extracted brain networks from fMRI data using template matching and sum of squared differences (SSD) method. The final results revealed our Spark (PySpark) based solution improved the performance (in terms of processing time) around 4 times on a single compared to the previous work developed in Python.

연구 동기 및 목표

• fMRI 데이터 사전처리 및 분석에서 발생하는 성능 저하 문제를 해결하기 위해, 이는 시간이 오래 걸리고 계산적으로 비용이 많이 든다.
• Apache Spark와 같은 빅데이터 기술을 의료 영상 워크플로우에 통합하여 대규모 뇌 영상 데이터셋의 확장 가능하고 병렬 처리가 가능한 방식을 제공한다.
• 메모리 기반 계산과 다중 형식 결과 저장(예: 데이터 프레임, NIfTI)을 지원하는 이식성 있고 확장 가능한 파이프라인을 개발한다.
• 템플릿 기반 뇌 네트워크 추출에 대해 PySpark를 사용할 경우 기존 파이썬 구현 대비 성능 향상을 평가한다.
• 데이터 형식 및 구조적 제약 조건이 존재하더라도 빅데이터 플랫폼을 뇌 영상 워크로드에 적응시킬 수 있는 가능성을 입증한다.

제안 방법

• 84개의 fMRI 컴포넌트를 NIfTI 형식으로 nibabel 라이브러리를 사용해 메모리에 로드한다.
• 영상 데이터와 사전 정의된 DMN 템플릿이 Apache Spark의 핵심 데이터 추상화인 복원 가능한 분산 데이터셋(RDD)으로 변환된다.
• PySpark의 flatMap 및 zip 연산을 사용해 RDD 기반으로 SSD 기반 템플릿 매칭을 구현하여 공간 좌표 전체에서 유사도를 계산한다.
• SSD 식이 병렬로 적용된다: $SSD = \sum_{x,y} [f(x,y) - t(x-u,y-v)]^2$, 이는 파artitions에 걸쳐 분산 계산이 가능하다.
• 결과는 표준 영상 형식(예: NIfTI)으로 다시 변환되거나, 다른 빅데이터 도구와의 상호 운용성을 위해 데이터 프레임 형식으로 저장된다.
• 성능는 단일 노드 Spark 설정에서 순수한 파이썬 구현과의 비교를 통해 벤치마크된다.

실험 결과

연구 질문

• RQ1 기존 파이썬 워크플로우 대비 PySpark 기반 파이프라인이 fMRI 데이터 분석의 처리 시간을 크게 줄일 수 있는가?
• RQ2 RDD를 통한 메모리 기반 분산 처리 방식이 fMRI 데이터에서 템플릿 기반 뇌 네트워크 추출의 성능에 어떤 영향을 미치는가?
• RQ3 단일 노드 Spark 환경에서 SSD 기반 템플릿 매칭의 성능 향상은 어느 정도 이루어지는가?
• RQ4 표준 뇌 영상 형식 외의 다양한 형식으로 결과를 저장할 수 있는가? 이는 정확도 유지와 함께 가능한가?
• RQ5 다중 노드 클러스터로 확장하거나 병렬 실행을 최적화할 경우 추가적인 성능 향상 잠재력은 어느 정도인가?

주요 결과

• PySpark 기반 파이프라인은 순수한 파이썬에서 23.87초였던 처리 시간을 6.44초로 단축하여 단일 노드에서 3.7배 빠른 성능을 달성했다.
• 성능 향상은 단일 노드 환경에서도 Spark의 RDD 추상화를 통한 메모리 기반 계산과 병렬 처리 덕분이었다.
• 파이프라인은 원본 파이썬 구현과 동일한 정확도를 유지하여 성능 향상이 결과의 정밀도를 훼손하지 않음을 확인했다.
• 유연한 결과 저장 기능을 제공하여 출력물을 데이터 프레임 또는 표준 영상 형식(NIfTI 등)으로 저장할 수 있다.
• 저자들은 고성능 클러스터로 확장하고 전체 병렬 처리를 최적화할 경우 10~20배의 성능 향상이 가능할 것으로 예측한다.
• 연구는 데이터 형식 및 도메인 전용 제약 조건이 존재하더라도 Spark와 같은 빅데이터 플랫폼이 뇌 영상 워크로드에 효과적으로 적응할 수 있음을 입증했다.