[論文レビュー] Montage: a grid portal and software toolkit for science-grade astronomical image mosaicking

Joseph Jacob, Daniel S. Katz+9 more|arXiv (Cornell University)|May 24, 2010

Astronomical Observations and Instrumentation被引用数 13

ひとこと要約

Montage は、アストロメトリとフォトメトリの正確性を保持しながら、複数の画像を再投影、整列、合成して高精度な天体画像モザイクを構築するためのポータブルで科学的水準のソフトウェアツールキットおよびグリッドポータルです。MPI を用いた並列実行と、Pegasus を用いたワークフロー管理の両方をサポートしており、特に TeraGrid のような分散システムでは、障害耐性とリソース利用効率に優れています。

ABSTRACT

Montage is a portable software toolkit for constructing custom, science-grade mosaics by composing multiple astronomical images. The mosaics constructed by Montage preserve the astrometry (position) and photometry (intensity) of the sources in the input images. The mosaic to be constructed is specified by the user in terms of a set of parameters, including dataset and wavelength to be used, location and size on the sky, coordinate system and projection, and spatial sampling rate. Many astronomical datasets are massive, and are stored in distributed archives that are, in most cases, remote with respect to the available computational resources. Montage can be run on both single- and multi-processor computers, including clusters and grids. Standard grid tools are used to run Montage in the case where the data or computers used to construct a mosaic are located remotely on the Internet. This paper describes the architecture, algorithms, and usage of Montage as both a software toolkit and as a grid portal. Timing results are provided to show how Montage performance scales with number of processors on a cluster computer. In addition, we compare the performance of two methods of running Montage in parallel on a grid.

研究の動機と目的

• 座標系や解像度が異なる多波長の分散型天体データセットから、一貫性があり高ダイナミックレンジなモザイクを構築する課題に対処する。
• 研究者が、1つの統合ソフトウェアツールキットを用いて、任意のスカイサイズと空間サンプリングでカスタムモザイクを生成できるようにする。
• 標準的なグリッドミドルウェアを用いたクラスターやグリッドでの実行をサポートすることで、単一マシン処理の性能とスケーラビリティの制限を克服する。
• Pegasus ワークフロー管理を介して、異種コンピューティング環境においても、障害耐性がありスケーラブルかつポータブルなモザイクワークフロー実行を提供する。
• 再投影と合成の過程で、入力画像のフォトメトリックおよびアストロメトリック整合性を保持することで、科学的正確性を確保する。

提案手法

• 複数のピクセル処理戦略を用いた画像再投影、重複検出、背景マッチング、合成のためのモジュラーなソフトウェアツールキットを採用する。
• 計算負荷の高いタスクに対して、プロセッサ間の負荷分散を可能にするために、MPI を用いたクラスタでの並列実行を実施する。
• グリッド上の分散実行をオーケストレーションするため、Pegasus ワークフロー管理システムを統合し、動的スケジューリングと障害耐性を実現する。
• リモートリソースでのジョブ実行のために、標準的なグリッドツール（例：Globus、GRAM）を活用し、プラットフォーム固有の詳細を抽象化する。
• ユーザー指定のパrameter（天球座標、投影法、解像度）によってモザイク構築パイプラインを定義する、メタデータ駆動型のワークフロー構成を採用する。
• 単一マシンでのシェルスクリプトによる直接実行と、グリッドポータルおよびワークフロー・エンジンを介した複雑な分散実行の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 大規模で分散型の天体データセットを扱うために、スケーラブルでポータブルかつ科学的に正確な画像モザイクシステムを構築する方法は何か？
• RQ2 グリッドプラットフォームにおける画像モザイク処理において、MPI を用いた並列化と Pegasus を用いたワークフロー実行の性能的トレードオフは何か？
• RQ3 Pegasus のようなワークフロー管理システムは、大規模天体モザイク処理において、ネイティブな MPI よりも優れた障害耐性とリソース利用効率を提供できるか？
• RQ4 Montage の性能は、クラスターやグリッドにおけるプロセッサ数の増加に伴いどのようにスケーリングするか？
• RQ5 中間データ製品をモザイク構築パイプラインで再利用することで、効率性をどの程度向上できるか？

主な発見

• Montage は、多様なデータセットや座標系においても、入力画像のアストロメトリとフォトメトリの正確性を保持した科学的水準のモザイクを成功裏に構築している。
• Pegasus を用いた実行アプローチは、特にリモートアーカイブに分散されたデータの場合に、MPI よりも優れた障害耐性と効率的な I/O 扱いを示している。
• TeraGrid クラスタ上では、Pegasus がタスクごとに必要なファイルのみをオープンできるようにすることで、MPI よりも顕著に I/O オーバーヘッドを低減した。
• Pegasus のアプローチは、高い起動コストがあるものの、最適化されたデータアクセスと動的スケジューリングのおかげで、大規模モザイクにおいて MPI と同等の性能を示した。
• Montage のモジュラー設計により、コード変更なしに単一マシン、クラスタ、グリッドでシームレスに実行可能となり、ポータビリティと使いやすさが向上した。
• 本システムは、Spitzer Legacy Projects、IRSA、COSMOS 調査を含む複数の NASA ミッションで成功裏に導入され、その科学的有用性と堅牢性が検証された。