[논문 리뷰] SPIKE a Processing Software dedicated to Fourier Spectroscopies

Lionel Chiron, Marie‐Aude Coutouly외 3명|arXiv (Cornell University)|2016. 08. 24.

Metabolomics and Mass Spectrometry Studies참고 문헌 1인용 수 11

한 줄 요약

SPIKE는 푸리에 분광법 처리를 위한 오픈소스 파이썬 패키지로, 아포디제이션, 푸리에 변환, 패딩, 피크 추적, 백그라운드 보정 및 선형 예측과 같은 고급 도구를 제공한다. 주요 혁신은 다중프로세싱과 낮은 메모리 사용량을 통해 대용량 데이터 처리를 효율적으로 구현하여, 특히 NMR 및 FT-ICR-MS 응용 분야에서 빠르고 확장 가능한 1D 및 2D 데이터셋 처리를 가능하게 한다.

ABSTRACT

We present SPIKE (Spectrometry Processing Innovative KErnel), an open-source Python package dedicated to Fourier spectroscopies. It provides basic functionalities such as apodisation, a complete set of Fourier transforms, phasing for NMR), peak-picking, baseline correction and also tools such as Linear Prediction. Beside its versatility, the most prominent novelty of this package is to incorporate new tools for Big Data processing. This is exemplified by its ability to handle the processing and visualization of very large data-sets, with multiprocessor capabilities and a low memory footprint. The software contains also all the tools necessary for the specific fast processing and visualization of 2D-FTICR-MS data-sets.

연구 동기 및 목표

• NMR, FT-MS 및 관련 기술 분야에서 푸리에 분광법에 대한 일반적이고 확장 가능한 처리 도구의 부족을 보완한다.
• 고속도 푸리에 분광법에서 발생하는 대용량 데이터 처리의 병목 현상을 해결하기 위해 대규모 데이터셋에 대한 빠르고 메모리 효율적인 처리를 가능하게 한다.
• 다른 도메인 간의 방법 공유를 촉진하고 중복 개발을 줄이기 위해 통합된 오픈소스 프레임워크를 제공한다.
• 일반적으로 표준 도구로 처리하기에는 너무 큰 2D-FTICR-MS 데이터에 대해 상호작용 가능하고 고성능의 시각화 및 분석을 가능하게 한다.
• 기존 지원 범위를 초월한 다른 푸리에 분광법 기술로도 확장 가능한 모듈식이고 확장 가능한 커널을 개발한다.

제안 방법

• 모듈성과 성능을 확보하기 위해 파이썬의 명확한 문법과 과학 계산 라이브러리(Numpy, Scipy)를 활용한 체인형 객체 지향 처리 파이프라인을 구현한다.
• 아포디제이션, 제로필링, 푸리에 변환(1D/2D), 패딩, 피크 추적 및 중심 보정과 같은 표준 처리 기능을 통합한다.
• 단일 및 이중 차원 NMR 및 FT-ICR-MS 처리를 위한 단계 감응형 데이터 처리를 지원하기 위해 초복소수 수치 처리 기법을 활용한다.
• 선형 예측을 위한 버그 알고리즘과 백그라운드 보정을 위한 ℓ₁-노름 최적화와 같은 고급 알고리즘을 통합한다.
• 대규모 2D 데이터셋에서 빠른 줌인, 패닝 및 부분 스펙트럼 추출을 가능하게 하기 위해 계층적 다중 해상도 HDF5 파일 구조를 구현한다.
• 특히 2D-FTICR-MS 시각화를 위해 최적화된 입출력 및 데이터 스트리밍을 통해 다중프로세싱과 낮은 메모리 사용량을 실현한다.

실험 결과

연구 질문

• RQ1 통합 소프트웨어 프레임워크는 다양한 푸리에 분광법 도메인 간의 상호운용성 향상과 중복성 감소에 어떻게 기여하는가?
• RQ2 대규모 2D FT-ICR-MS 데이터셋을 처리할 때, 파이썬 기반 오픈소스 패키지가 높은 성능과 낮은 메모리 사용량을 얼마나 달성할 수 있는가?
• RQ3 선형 예측 및 ℓ₁-노름 백그라운드 보정과 같은 고급 신호 처리 기법이 일반 목적의 분광법 처리 커널에 효과적으로 통합될 수 있는가?
• RQ4 계층적 HDF5 데이터 구조는 과도한 메모리 소비 없이 대규모 2D 스펙트럼 행렬의 효율적 시각화 및 탐색을 어떻게 가능하게 하는가?
• RQ5 고속도 분광 데이터의 상호작용 처리에서 다중프로세싱과 최적화된 입출력을 통해 달성 가능한 성능 향상 수준은 어느 정도인가?

주요 결과

• SPIKE는 오르비트랩 및 2D-FTICR-MS 데이터를 포함한 대용량 1D 및 2D 분광 데이터셋을 극도로 낮은 메모리 사용량과 높은 속도로 처리하는 데 성공했다.
• 표준 도구로 처리하기에는 너무 큰 데이터셋이라도, 2D-FTICR-MS 스펙트럼에 대해 빠른 줌인 및 패닝이 가능한 상호작용 가능한 시각화를 가능하게 했다.
• 계층적 다중 해상도 HDF5 구조 덕분에 전체 매트릭스를 로드하지 않고도 1D 부분 스펙트럼 및 대각선 슬라이스(예: 중성 손실 분석용)의 효율적 추출이 가능했다.
• 15N-HSQC NMR 스펙트럼의 피크 추적 및 처리가 자동화되어 표준 데스크톱에서 평균 2~3초 내로 완료되어 높은 효율성을 입증했다.
• 플러그인 아키텍처 덕분에 내부 코드를 수정하지 않고도 핵심 기능을 쉽게 확장할 수 있어 유지보수성과 확장성 향상이 뚜렷했다.
• 선형 예측(Burg 알고리즘) 및 ℓ₁-노름 백그라운드 보정과 같은 고급 처리 기법을 지원하여 고해상도 데이터 분석에 필수적인 기능을 제공했다.