[論文レビュー] USID and Pycroscopy -- Open frameworks for storing and analyzing spectroscopic and imaging data

Suhas Somnath, Chris R. Smith+8 more|arXiv (Cornell University)|Mar 22, 2019

Advanced X-ray and CT ImagingEngineering参考文献 95被引用数 17

ひとこと要約

本論文では、分光および画像データのためのユニバーサルデータモデルであるUSIDと、HDF5およびpyUSIDに基づくスケーラブルで機器に依存しない分析を可能にするオープンソースのPythonフレームワークPycroscopyを紹介する。これにより、さまざまな材料科学分野のモダリティにおいて再現可能で高性能なデータ処理が可能となり、オープンサイエンスにおける協働を促進する。

ABSTRACT

Materials science is undergoing profound changes due to advances in characterization instrumentation that have resulted in an explosion of data in terms of volume, velocity, variety and complexity. Harnessing these data for scientific research requires an evolution of the associated computing and data infrastructure, bridging scientific instrumentation with super- and cloud- computing. Here, we describe Universal Spectroscopy and Imaging Data (USID), a data model capable of representing data from most common instruments, modalities, dimensionalities, and sizes. We pair this schema with the hierarchical data file format (HDF5) to maximize compatibility, exchangeability, traceability, and reproducibility. We discuss a family of community-driven, open-source, and free python software packages for storing, processing and visualizing data. The first is pyUSID which provides the tools to read and write USID HDF5 files in addition to a scalable framework for parallelizing data analysis. The second is Pycroscopy, which provides algorithms for scientific analysis of nanoscale imaging and spectroscopy modalities and is built on top of pyUSID and USID. The instrument-agnostic nature of USID facilitates the development of analysis code independent of instrumentation and task in Pycroscopy which in turn can bring scientific communities together and break down barriers in the age of open-science. The interested reader is encouraged to be a part of this ongoing community-driven effort to collectively accelerate materials research and discovery through the realms of big data.

研究の動機と目的

• 高度な計測機器に伴い増大する材料科学分野における分光および画像データの複雑さとデータ量に対応する。
• 特許を取得したデータフォーマットや機器固有のワークフローによって引き起こされるデータの島嶋化と相互運用性の問題を克服する。
• 多様なモダリティ、次元数、データサイズをサポートする、統一的で拡張可能なデータモデル（USID）を設計する。
• 機器に依存しないスケーラブルで再現可能かつ並列処理可能なデータ分析を実現するオープンソースのソフトウェア（pyUSIDおよびPycroscopy）を開発する。
• 特定の機器やデータ取得システムから分析を分離することで、コミュニティ主導の科学的協働を促進する。

提案手法

• 多様な分光および画像データを表現するための階層的かつ拡張可能なスキーマとして、ユニバーサル分光および画像データ（USID）モデルを設計する。
• データのポータビリティ、スケーラビリティ、プロヴァンス追跡を保証するため、HDF5ファイル形式を用いてUSIDモデルを実装する。
• USID準拠のHDF5ファイルの読み取り・書き込み・管理を可能にするPythonライブラリであるpyUSIDを開発する。並列処理をサポートする。
• pyUSIDの上位にPycroscopyを構築し、ナノスケールの画像および分光解析に特化したドメイン固有のアルゴリズムを提供する。
• ハードウェア固有の詳細からデータアクセスおよび処理ロジックを抽象化することで、機器に依存しない分析を実現する。
• HDF5の属性および標準準拠のデータ構成を用いて、バージョン管理、メタデータ追跡、プロヴァンス記録を統合する。

実験結果

リサーチクエスチョン

• RQ1 複数の機器やモダリティにまたがる多様な分光および画像データを表現するためのユニバーサルデータモデルは、どのように設計できるか？
• RQ2 大規模な材料科学データのスケーラブルで再現可能かつ並列処理可能な分析を実現するソフトウェアアーキテクチャはどのようなものか？
• RQ3 オープンでコミュニティ主導のソフトウェアフレームワークは、材料研究におけるデータ共有と協働の障壁をどのように低減できるか？
• RQ4 機器に依存しないデータ処理は、科学的ワークフローの相互運用性と再利用性をどの程度向上できるか？
• RQ5 統一されたデータモデルとオープンソーススタックは、ビッグデータ駆動の材料科学における発見をどのように加速できるか？

主な発見

• USIDデータモデルは、多様な機器からの多次元的・多モダリティ分光および画像データを、標準化された階層的フォーマットで効果的に統合した。
• pyUSIDは、USID準拠のHDF5ファイルの効率的読み込み・書き込みおよび並列処理を可能にし、ハイパフォーマンスコンピューティングワークフローをサポートする。
• Pycroscopyは、特定の機器に依存しない、オープンソースで再利用可能なアルゴリズムのスイートを提供し、ナノスケールの画像および分光データ解析を可能にする。
• USIDとHDF5の統合により、異なるプラットフォームや機関間でのデータ交換性、追跡可能性、再現性が保証される。
• このフレームワークにより、機器の境界を超えた科学コミュニティ間の協働が可能となり、材料科学におけるデータ駆動型発見が加速される。
• PycroscopyおよびpyUSIDのオープンでコミュニティ主導の開発モデルは、科学的ソフトウェアの拡張性と長期的持続可能性を促進する。