[論文レビュー] CANFAR+Skytree: A Cloud Computing and Data Mining System for Astronomy

Nicholas M. Ball|arXiv (Cornell University)|Dec 14, 2013

Astronomical Observations and Instrumentation被引用数 3

ひとこと要約

本論文は、天文学者のための世界で初めてのクラウドベースのデータマイニングシステムであるCANFAR+Skytreeを提示する。CANFARのスケーラブルなクラウドインfra構造とSkytreeの高性能機械学習アルゴリズムを統合し、天体データセット上で大規模かつ線形にスケーラブルなデータマイニングを可能にする。CFHTLS調査から得られた130億オブジェクトのカタログに対して、光度赤方偏移の確率密度関数を計算することで、ペタスケールのデータに対して完全な洗練された解析を実現した。

ABSTRACT

At the Canadian Astronomy Data Centre, we have combined our cloud computing system, CANFAR, with the world's most advanced machine learning software, Skytree, to create the world's first cloud computing system for data mining in astronomy. CANFAR provides a generic environment for the storage and processing of large datasets, removing the requirement to set up and maintain a computing system when implementing an extensive undertaking such as a survey pipeline. 500 processor cores and several hundred terabytes of persistent storage are currently available to users. The storage is implemented via the International Virtual Observatory Alliance's VOSpace protocol, and is accessible both interactively, and to all processing jobs. The user interacts with CANFAR by utilizing virtual machines, which appear to them as equivalent to a desktop. Each machine is replicated as desired to perform large-scale parallel processing. Such an arrangement enables the user to immediately install and run the same astronomy code that they already utilize, in the same way as on a desktop. In addition, unlike many cloud systems, batch job scheduling is handled for the user on multiple virtual machines by the Condor job queueing system. Skytree is installed and run just as any other software on the system, and thus acts as a library of command line data mining functions that can be integrated into one's wider analysis. Thus we have created a generic environment for large-scale analysis by data mining, in the same way that CANFAR itself has done for storage and processing. Because Skytree scales to large data in linear runtime, this allows the full sophistication of the huge fields of data mining and machine learning to be applied to the hundreds of millions of objects that make up current large datasets. We demonstrate the utility of the CANFAR+Skytree system by showing science results obtained. [Abridged]

研究の動機と目的

• 天文学における小規模データセットの洗練された解析と大規模データセットの単純な解析の間のギャップを埋める。
• 機械学習やインfra管理の専門知識がなくても、天文学者が大規模データセットに対して高度なデータマイニングを実行できるようにすること。
• CANFARのストレージと処理能力と、Skytreeの高性能機械学習アルゴリズムを統合したスケーラブルでクラウドベースのプラットフォームを提供すること。
• 本システムの能力を実際の天体データに対して実証し、特に完全な確率密度関数を用いた光度赤方偏移推定を対象とする。
• LSSTのような次世代調査データに対して、広く一般の天文学コミュニティが大規模データマイニングを実行できるオープンでアクセス可能なシステムを構築すること。

提案手法

• 500コアのプロセッサと数百テラバイトのVOSpace準拠永続ストレージを備えたCANFARのクラウドインfraを活用し、マウント可能なファイルシステムとしてアクセス可能にしている。
• 仮想マシンを用いてデスクトップ環境をエミュレートし、ユーザーが既存の天文学ソフトウェアを変更せず、スケーラブルかつ並列処理可能なクラウド環境で実行できるようにしている。
• Skytreeをコマンドラインライブラリとして統合し、データ処理パイプラインへのシームレスな統合を可能にしている。
• Condorジョブキューイングシステムを活用して、複数の仮想マシンにわたるバッチジョブのスケジューリングを自動化し、低レベルの並列処理を抽象化している。
• すべてのk近傍（allkn）やカーネル密度推定（kde）といった、データセットサイズに比例して線形にスケーリングするSkytreeの最適化アルゴリズムを適用し、二次的計算量の増大を回避している。
• CANFARのスケーラブルなコンピューティングノードに計算を分散させることで、大規模な天体カタログの処理を実施し、高いパフォーマンスと再現性を確保している。

実験結果

リサーチクエスチョン

• RQ1 クラウドベースのシステムは、天体データセットに対して、スケーラブルなストレージと高性能なデータマイニングを効果的に統合できるか？
• RQ2 Skytreeの線形にスケーリングする機械学習アルゴリズムは、天文学のクラウド環境で実用的に展開可能で、ペタスケールのデータを処理できるか？
• RQ3 このシステムを用いて、大規模カタログ上で光度赤方偏移の完全な確率密度関数を効率的に計算できるか？
• RQ4 CANFARとSkytreeの統合により、専門知識のないユーザーが大規模天体データセットに対して高度なデータマイニングを実行できるか？
• RQ5 このシステムは、次世代の調査（例：LSST）で想定される規模のデータセットを処理できるか？

主な発見

• CANFAR+Skytreeシステムは、CFHTLS調査の130億オブジェクト分の光度赤方偏移確率密度関数（PDF）の計算に成功し、ペタスケールデータに対して完全な洗練された解析を実現した。
• Skytreeのallknアルゴリズムは、データセットサイズに比例して線形に実行時間スケーリングすることを確認し、大規模天体データセットへのスケーリングが二次的性能劣化なしに可能であることを裏付けた。
• パフォーマンスベンチマークでは、実行時間の誤差バーがデータポイントよりも小さく、特に大メモリノード（256GB）において高い再現性と安定性を示した。
• ユーザーは、Condorによる自動並列処理のおかげで、デスクトップ環境と区別がつかないクラウド環境で、既存のコードをそのまま実行できた。
• SkytreeをCANFARのインfraに統合することで、低レベルのアルゴリズム的知識がなくても、非専門家が天体データに対して高度な機械学習技術を適用できるようになった。
• 本システムはプロダクション環境で利用可能であり、LSSTに comparable なサイズのデータに対して実証済みで、天文学コミュニティの広範な利用が可能である。