[論文レビュー] NebulOS: A Big Data Framework for Astrophysics

Nathaniel R. Stickley, Miguel A. Aragón-Calvo|arXiv (Cornell University)|Mar 8, 2015

Gamma-ray bursts and supernovae参考文献 12被引用数 3

ひとこと要約

NebulOS は、既存のソフトウェアを変更せずにデータセンタークラスタ上で大規模並列データ分析パイプラインを実行できる Big Data フレームワークである。Hadoop の HDFS を FUSE-DFS を通じて利用し、ユーザーフレンドリーなインターフェースとタスクモニタリングを追加することで、開発時間を短縮し、最小限のエンジニアリングオーバーヘッドでペタスケールの天体物理学的データセットに対して効率的かつフェイルセーフなデータ処理を実現する。

ABSTRACT

We introduce NebulOS, a Big Data platform that allows a cluster of Linux machines to be treated as a single computer. With NebulOS, the process of writing a massively parallel program for a datacenter is no more complicated than writing a Python script for a desktop computer. The platform enables most pre-existing data analysis software to be used, as scale, in a datacenter without modification. The shallow learning curve and compatibility with existing software greatly reduces the time required to develop distributed data analysis pipelines. The platform is built upon industry-standard, open-source Big Data technologies, from which it inherits several fault tolerance features. NebulOS enhances these technologies by adding an intuitive user interface, automated task monitoring, and other usability features. We present a summary of the architecture, provide usage examples, and discuss the system's performance scaling.

研究の動機と目的

• 従来のスーパーコンピュータの I/O や処理能力を超えるペタスケールの天体物理学的データセットを分析するという増大する課題に対処すること。
• 既存のデータ分析ツールを変更せずに分散環境で実行できるようにすることで、天文学の研究者がソフトウェア工学の障壁を低減すること。
• 天体物理学の科学的データワークロードに特化した、フェイルセーフでスケーラブルかつユーザーフレンドリーな Big Data プラットフォームを提供すること。
• 低水準の Java プログラミングから高水準の Python インターフェースへの置き換えと自動監視を導入することで、天文学分野の非専門家ユーザーにおける Big Data フレームワークの使いやすさを向上させること。

提案手法

• NebulOS は、FUSE（ユーザー空間内のファイルシステム）を介して Hadoop 分散ファイルシステム（HDFS）を統合し、HDFS をローカルファイルシステムとして公開することで、分散データへの透明なアクセスを可能にする。
• クラスタ管理を抽象化する Python ベースのアプリケーションフレームワークを採用しており、ユーザーが単一マシン上で実行しているかのように標準の Python スクリプトを記述できる。
• システムには自動タスク監視機能とウェブベースのユーザーインターフェースが含まれており、クラスタの運用とデバッグを簡素化する。
• ノード障害時に自動的にタスクを再スケジューリングする仕組みを備え、Hadoop のネイティブなデータレプリケーションによりフェイルセーフ性を確保する。
• HDFS をデータローカリティに活用することで、既存の科学的ソフトウェアをコード変更なしにクラスタ上で直接実行可能にし、ソフトウェアの互換性を維持する。
• Amazon EC2 などのクラウドプラットフォームへのデプロイを可能とするプリビルドされたシステムイメージを提供し、15分未満で迅速なクラスタプロビジョニングを実現する。

実験結果

リサーチクエスチョン

• RQ1 既存の分析ソフトウェアをコード変更なしにデータセンタークラスタ上で実行できるように設計された Big Data フレームワークは、実現可能か？
• RQ2 非専門家の科学的ユーザー、特に天体物理学分野のユーザーに対して、Big Data フレームワークの使いやすさをどのように向上できるか？
• RQ3 データローカリティとフェイルセーフ性をどれだけ活用すれば、ペタスケールの天体物理学的データセットにおける性能向上が達成できるか？
• RQ4 FUSE-DFS を通じて Hadoop ベースのシステムを効果的に抽象化し、科学的ワークロードに対してローカル環境に似たシームレスな体験を提供できるか？
• RQ5 天体物理学のデータパイプラインに特化した Python セントリックな Big Data フレームワークのパフォーマンスとスケーラビリティ特性は何か？

主な発見

• NebulOS は、既存の天体物理学的データ分析ソフトウェアをコード変更なしにクラスタ上で実行可能にし、開発時間を顕著に短縮した。
• ユーザーがデスクトップ上で実行しているかのように Python スクリプトを記述できるため、学習曲線が著しく低下し、同時に数千ノードに透明にスケーリング可能である。
• FUSE-DFS を使用して HDFS をローカルファイルシステムとして公開することで、データへの透明なアクセスが可能になり、データローカリティを活用して I/O 性能が向上した。
• Hadoop のネイティブなレプリケーション機能と自動タスク再スケジューリングにより、フェイルセーフ性が実現され、大規模な展開においても信頼性が保証された。
• Amazon EC2 などのクラウドサービスへのデプロイがスムーズに実現され、プリビルドされたシステムイメージにより、15分未満でクラスタのセットアップが可能となった。
• 小さなファイルや大きなファイルに対する制限およびタスク間通信のネイティブサポートの欠如といった制限は存在するが、NebulOS は、データ集約的な天体物理学ワークフローに対して実用的で、低オーバーヘッドのソリューションを提供した。