[논문 리뷰] USID and Pycroscopy -- Open frameworks for storing and analyzing spectroscopic and imaging data

Suhas Somnath, Chris R. Smith외 8명|arXiv (Cornell University)|2019. 03. 22.

Advanced X-ray and CT ImagingEngineering참고 문헌 95인용 수 17

한 줄 요약

이 논문은 스펙트로스코픽 및 이미징 데이터를 위한 유니버설 데이터 모델인 USID와 HDF5 및 pyUSID 기반의 오픈소스 파이썬 프레임워크인 Pycroscopy를 소개한다. 이는 다양한 재료 과학 분야의 분석에서 재현 가능하고 고성능인 데이터 처리를 가능하게 하며, 오픈 사이언스에서의 협업을 촉진한다.

ABSTRACT

Materials science is undergoing profound changes due to advances in characterization instrumentation that have resulted in an explosion of data in terms of volume, velocity, variety and complexity. Harnessing these data for scientific research requires an evolution of the associated computing and data infrastructure, bridging scientific instrumentation with super- and cloud- computing. Here, we describe Universal Spectroscopy and Imaging Data (USID), a data model capable of representing data from most common instruments, modalities, dimensionalities, and sizes. We pair this schema with the hierarchical data file format (HDF5) to maximize compatibility, exchangeability, traceability, and reproducibility. We discuss a family of community-driven, open-source, and free python software packages for storing, processing and visualizing data. The first is pyUSID which provides the tools to read and write USID HDF5 files in addition to a scalable framework for parallelizing data analysis. The second is Pycroscopy, which provides algorithms for scientific analysis of nanoscale imaging and spectroscopy modalities and is built on top of pyUSID and USID. The instrument-agnostic nature of USID facilitates the development of analysis code independent of instrumentation and task in Pycroscopy which in turn can bring scientific communities together and break down barriers in the age of open-science. The interested reader is encouraged to be a part of this ongoing community-driven effort to collectively accelerate materials research and discovery through the realms of big data.

연구 동기 및 목표

• 고도로 발전한 장비로 인해 재료 과학 분야에서 스펙트로스코픽 및 이미징 데이터의 복잡성과 용량이 증가하고 있음.
• 독점적 데이터 포맷과 장비 전용 워크플로우로 인한 데이터 사각지대와 상호운용성 문제 해결.
• 다양한 모달리티, 차원성 및 데이터 크기를 지원하는 통합적이고 확장 가능한 데이터 모델(USID) 개발.
• 장비에 종속되지 않은 스케일러블하고 재현 가능하며 병렬 처리가 가능한 데이터 분석을 가능하게 하는 오픈소스 소프트웨어(pyUSID 및 Pycroscopy) 개발.
• 특정 장비나 데이터 수집 시스템에서 분리된 데이터 분석을 통해 공동체 기반 과학 협업 촉진.

제안 방법

• 다양한 장비와 모달리티에서의 다차원 스펙트로스코픽 및 이미징 데이터를 표현하기 위한 계층적이고 확장 가능한 스키마로 유니버설 스펙트로스코피 및 이미징 데이터(USID) 모델 설계.
• 이식성, 확장성, 기록 추적 기능을 확보하기 위해 HDF5 파일 포맷을 사용하여 USID 모델 구현.
• pyUSID를 파이썬 라이브러리로 개발하여 USID 준수 HDF5 파일의 읽기, 쓰기, 관리 기능을 제공하고 병렬 처리 지원.
• 나노스케일 이미징 및 스펙트로스코피 분석을 위한 도메인 전용 알고리즘을 제공하기 위해 pyUSID 위에 Pycroscopy 구축.
• 하드웨어 전용 세부 정보에서 데이터 접근 및 처리 로직을 추상화하여 장비에 종속되지 않는 분석 보장.
• HDF5 속성과 표준 준수 데이터 조직 방식을 통해 버전 제어, 메타데이터 추적, 기록 추적 통합.

실험 결과

연구 질문

• RQ1 다양한 장비와 모달리티에서의 스펙트로스코픽 및 이미징 데이터를 표준화된 계층적 형식으로 표현하기 위해 유니버설 데이터 모델을 어떻게 설계할 수 있는가?
• RQ2 대규모 재료 과학 데이터의 스케일러블하고 재현 가능하며 병렬 처리가 가능한 소프트웨어 아키텍처는 무엇인가?
• RQ3 오픈소스이고 공동체 기반인 소프트웨어 프레임워크는 재료 연구 분야에서의 데이터 공유와 협업 장벽을 어떻게 줄일 수 있는가?
• RQ4 장비에 종속되지 않는 데이터 처리 방식은 과학 워크플로우의 상호운용성과 재사용성에 얼마나 기여하는가?
• RQ5 통합된 데이터 모델과 오픈소스 스택은 빅데이터 기반 재료 과학에서의 발견을 가속화할 수 있는가?

주요 결과

• USID 데이터 모델은 다양한 장비에서 유입되는 다차원, 다모달 스펙트로스코픽 및 이미징 데이터를 표준화된 계층적 형식으로 성공적으로 봉인하였다.
• pyUSID는 USID 준수 HDF5 파일의 효율적인 읽기, 쓰기 및 병렬 처리를 가능하게 하여 고성능 컴퓨팅 워크플로우를 지원한다.
• Pycroscopy는 특정 장비에 종속되지 않은 오픈소스로 재사용 가능한 알고리즘 세트를 제공하여 나노스케일 이미징 및 스펙트로스코피 데이터 분석을 가능하게 하였다.
• USID와 HDF5의 통합은 다양한 플랫폼과 기관 간의 데이터 교환 가능성, 추적 가능성, 재현 가능성을 보장한다.
• 이 프레임워크는 장비의 경계를 초월한 과학 공동체 간 협업을 가능하게 하여 재료 과학 분야의 데이터 기반 발견을 가속화한다.
• Pycroscopy와 pyUSID의 오픈소스이고 공동체 기반의 개발 모델은 과학 소프트웨어의 확장성과 장기적 지속 가능성 확보에 기여한다.