[論文レビュー] Objectivity Data Migration

Marcin Nowak, K. Nienartowicz+3 more|ArXiv.org|May 28, 2003

Cloud Computing and Resource Management参考文献 2被引用数 4

ひとこと要約

この論文では、CERNのCOMPASSおよびHARP実験における高スループットなデータ移行戦略を提示している。Objectivity/DBから新しいシステムへの300TBを超えるイベントデータの移行を、30台のLinuxサーバーと14台のテープドライブを用いて実施し、約100MB/sの転送レートを達成した。新しいシステムはメタデータにリレーショナルデータベース、イベントデータにフラットファイルを採用しており、元のC++ APIを保持しつつ、Oracle9iおよびCASTORストレージを用いてスケーラブルで汎用的かつナビゲーション可能なアクセスを実現した。

ABSTRACT

In this article we describe the migration of event data collected by the COMPASS and HARP experiments at CERN. Together these experiments have over 300TB of physics data stored in Objectivity/DB that had to be transferred to a new data management system by the end of Q1 2003 and Q2 2003 respectively. To achieve this, data needed to be processed with a rate close to 100MB/s, employing 14 tape drives and a cluster of 30 Linux servers. The new persistency solution to accommodate the data is built upon relational databases for metadata storage and standard "flat" files for the event data. The databases contain collections of 109 events and allow generic queries or direct navigational access to the data, preserving the original C++ user API. The central data repository at CERN is implemented using several Oracle9i servers on Linux and the CERN Mass Storage System CASTOR.

研究の動機と目的

• COMPASSおよびHARP実験の2003年末までの期限までに、Objectivity/DBから新しいデータ管理システムへの300TBを超える物理学イベントデータの移行を実施すること。
• 持続的な転送レート約100MB/sを達成することで、移行中のデータ整合性とパフォーマンスを確保すること。
• レガシーオブジェクト指向データベース（Objectivity/DB）を置き換える、スケーラブルで保守性の高い、リレーショナルデータベースとフラットファイルに基づくソリューションを提供すること。
• 既存のC++ユーザーアプリケーションプログラミングインターフェース（API）を保持し、シームレスな移行とアプリケーションの互換性を確保すること。
• Oracle9iおよびCERNのCASTOR大容量ストレージシステムを用いて、堅牢で生産環境向けのデータ管理システムを実装すること。

提案手法

• 30台のLinuxサーバーと14台のテープドライブを用いて、約100MB/sの持続的データ転送レートを達成した。
• メタデータにリレーショナルデータベース（Oracle9i）、イベントデータにフラットファイルを用いて、Objectivity/DBから新しいシステムへのイベントデータ移行を実施した。
• 新しい永続化レイヤーを設計し、汎用的なSQLクエリと直接的なナビゲーションアクセスの両方を可能にし、元のC++ APIを模倣した。
• Linux上で稼働する複数のOracle9iサーバーに中央データリポジトリを展開し、CERNの大容量ストレージシステム（CASTOR）と統合した。
• APIの保持を通じて、既存のユーザーアプリケーションとの後方互換性を確保するアーキテクチャを構築した。
• 移行期間中の大規模なデータ転送と検証を処理するため、分散処理パイプラインを採用した。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、レガシーなオブジェクト指向データベース（Objectivity/DB）から、現代的なリレーショナルおよびファイルベースのシステムへの大規模かつ高速なデータ移行を達成できるか？
• RQ2 どのようなシステムアーキテクチャが、効率的なデータ転送レート（約100MB/s）と、既存のC++アプリケーションとの完全な後方互換性を両立できるか？
• RQ3 メタデータとイベントデータをどのように分離すれば、スケーラブルなクエリと直接アクセスを可能にしつつ、パフォーマンスを維持できるか？
• RQ4 標準ファイルシステムとリレーショナルデータベースは、高エネルギー物理学実験における特許権の付与された永続化ソリューションを置き換える上で、どのような役割を果たすか？
• RQ5 オープンスタンダードと広く利用可能なインfraストラクチャを用いて、スケーラブルに生産環境向けのデータ管理システムを展開するにはどうすればよいか？

主な発見

• 移行は、COMPASSおよびHARP実験の両方の期限内に、Objectivity/DBから新しいシステムへの300TBを超えるデータ移行を成功裏に完了した。
• 30台のLinuxサーバーと14台のテープドライブを用いて、約100MB/sの持続的転送レートを達成し、大規模データの効率的処理を実現した。
• Oracle9iをメタデータに、フラットファイルをイベントデータに用いた新しいシステムは、汎用クエリと直接ナビゲーションアクセスの両方を完全にサポートした。
• 元のC++ユーザーアプリケーションAPIが保持されたため、既存のアプリケーションとのシームレスな統合と最小限の混乱が実現された。
• Oracle9iサーバーに中央データリポジトリを展開し、CASTORストレージと統合することで、長期的なデータ永続化のためのスケーラブルで信頼性の高い基盤が構築された。
• この移行は、高エネルギー物理学のデータ管理において、特許権の付与されたデータベースシステムを標準のリレーショナルデータベースとフラットファイルに置き換える可能性を実証した。