[論文レビュー] ImarisWriter: Open Source Software for Storage of Large Images in Blockwise Multi-Resolution Format

Igor Beati, Eliana Andreica+1 more|arXiv (Cornell University)|Aug 24, 2020

Parallel Computing and Optimization Techniques被引用数 8

ひとこと要約

ImarisWriter は、IMS 形式で大規模かつブロック単位のマルチスケール画像を効率的に書き込むためのオープンソースで高パフォーマンスな C++ ライブラリです。I/O の効率化、並列処理によるチャンク分割、圧縮、マルチスレッド処理を可能にし、科学的画像処理パイプラインへのシームレスな統合を実現します。100GB の画像を 2 分未満で書き込むことができ、低レベルの複雑な操作を抽象化しています。

ABSTRACT

We publish as open source a high performance file writer library to store large images in the IMS format for high performance visualization and analysis. The library is capable of writing images at high speed. In just over 1 minute it can write a 100GB image to disk. The library takes care of all the details of multi-resolution resampling, chunking, compression, and multi-threading. It makes high performance writing of images in a useful format very easy.

研究の動機と目的

• 科学的画像処理応用において、極めて大きな画像を効率的に保存および管理する課題に対処すること。
• 開発者の負荷を最小限に抑えつつ、ディスクへのマルチスケール画像データの書き込みに向けた高パフォーマンスでスケーラブルなソリューションを提供すること。
• チャンク化、圧縮、スレーディングといった低レベルの複雑さを抽象化し、画像処理ソフトウェアスタックへの迅速な統合を可能にすること。
• 顕微鏡法やバイオメディカルイメージングで使用されるテラバイトスケールの画像データセットに対する高スループット I/O をサポートすること。
• 再現性と相互運用性を確保する、プロダクション環境で使用可能なオープンソースのライブラリをリリースすること。

提案手法

• ライブラリは、大規模な画像を管理しやすい空間的にインデックスされたタイルに分割するブロック単位のマルチスケール画像フォーマットを実装している。
• マルチスレーディングを用いて画像処理および I/O 操作を並列化し、書き込みスループットを顕著に向上させている。
• 各チャンクごとに効率的なアルゴリズムを用いた圧縮を適用することで、ストレージ容量を削減しつつランダムアクセスのパフォーマンスを損なわない。
• 自動マルチスケールリサンプリングをサポートし、段階的な可視化に適したピラミッドレベルを生成している。
• ランダムアクセスおよびストリーミングに最適化された、独自のファイルフォーマット (IMS) を使用している。視覚化および分析ワークロードに適している。
• 既存の科学的画像処理ソフトウェアへの統合を容易にする明確なインターフェースを備えた C++ API を介して実装が公開されている。

実験結果

リサーチクエスチョン

• RQ1 大規模なマルチスケール画像を、効率的なランダムアクセスを維持したまま、高スループットでディスクに書き込むにはどうすればよいか？
• RQ2 スケーラブルな画像ストレージシステムにおいて、チャンク化、圧縮、スレーディングの管理に伴うパフォーマンスオーバーヘッドはどの程度か？
• RQ3 オープンソースのライブラリが、科学的画像処理ワークロードにおけるパフォーマンスを損なわずに、低レベルの I/O の複雑さを抽象化できるか？
• RQ4 ブロック単位のマルチスケールストレージアプローチを用いた場合、テラバイトスケールの画像データセットに対する実現可能な書き込み速度はどの程度か？
• RQ5 ライブラリの設計は、バイオメディカルイメージング分野の既存の可視化および分析ツールとの相互運用性をどのようにサポートするか？

主な発見

• ライブラリは 1 分をわずかに超える時間で 100 GB 以上の書き込み速度を達成し、大規模な画像データに対して高スループットのパフォーマンスを示している。
• システムは、マルチスケールリサンプリング、チャンク化、圧縮、スレーディングを一度の統合パイプラインで効果的に管理している。
• オープンソースでのリリースにより、科学的画像処理における IMS 形式の再現性とコミュニティ主導の拡張が可能になった。
• 複雑な I/O やメモリ管理の懸念を抽象化することで、開発者は低レベルのストレージ詳細にかかわらず、アルゴリズム論理に集中できる。
• 効率的なランダムアクセスと段階的読み込みがサポートされており、大規模画像のインタラクティブな可視化に不可欠である。
• このソリューションはプロダクション環境で使用可能であり、ライフサイエンスおよび顕微鏡分野の高パフォーマンス画像処理パイプラインへの統合に適している。