[論文レビュー] Taking back control of HPC file systems with Robinhood Policy Engine

Thomas Leibovici|arXiv (Cornell University)|May 6, 2015

Advanced Data Storage Technologies参考文献 1被引用数 14

ひとこと要約

Robinhood Policy Engine は、遅い POSIX ナメスペーススキャンの代わりに増分メタデータ監視と SQL ベースの照会を採用することで、ピタスケール HPC ファイルシステムの効率的でリアルタイムな管理を可能にするオープンソースでデータベース駆動のシステムです。ポリシー自動化、リアルタイム統計、Lustre 固有の機能（MDT ChangeLogs や OST プール）をサポートしており、数十億のファイルを含むシステムにおける管理負荷を顕著に低減しています。

ABSTRACT

Today, the largest Lustre file systems store billions of entries. On such systems, classic tools based on namespace scanning become unusable. Operations such as managing file lifetime, scheduling data copies, and generating overall filesystem statistics become painful as they require collecting, sorting and aggregating information for billions of records. Robinhood Policy Engine is an open source software developed to address these challenges. It makes it possible to schedule automatic actions on huge numbers of filesystem entries. It also gives a synthetic understanding of file systems contents by providing overall statistics about data ownership, age and size profiles. Even if it can be used with any POSIX filesystem, Robinhood supports Lustre specific features like OSTs, pools, HSM, ChangeLogs, and DNE. It implements specific support for these features, and takes advantage of them to manage Lustre file systems efficiently.

研究の動機と目的

• 数十億のメタデータエントリを含むピタスケール HPC ファイルシステムにおいて、従来の POSIX ツール（例：find, du）のスケーラビリティ制限を解消する。
• 完全なネームスペーススキャンの代わりに増分メタデータ監視を採用することで、大規模 HPC 環境における管理負荷を低減する。
• 永続的でインデックス化されたデータベースを用いて、数十億のファイルでスケーリング可能なリアルタイムで正確な統計とポリシー実行を提供する。
• HSM や OST プール、ChangeLog インテグレーションといった高度な機能をサポートし、現代の HPC ストレージワークロードに適合させる。
• 将来的な v3 アーキテクチャにおいて、データライフサイクル管理、整合性チェック、ユーザ活動追跡のための拡張可能でプラグインベースのポリシー自動化を可能にする。

提案手法

• ファイルシステムのメタデータをミラーする中央データベースを活用し、ファイルシステムスキャンの代わりに高速な SQL ベースの照会を可能にする。
• Lustre MDT ChangeLogs を活用して、完全スキャンを回避し、増分的にメタデータの変更を検出することで、ニアリアルタイムのデータ一貫性を実現する。
• 処理されたエントリに応じて即座に更新される、事前集計された統計（例：ユーザー別サイズ、ファイルサイズプロファイル）を実装する。
• ファイル属性（サイズ、所有者、パス、HSM ステータス）に基づくポリシー規則をサポートし、アーカイブや削除などのアクションをトリガーする。
• Robinhood v3 でプラグインアーキテクチャを導入し、設定またはコードによるカスタムポリシー実装を可能にする。
• 将来的な拡張として、単一データベースのデプロイによるボトルネックを回避するため、分散型データベースモデルを採用する。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、数十億のメタデータエントリを含むピタスケール HPC ファイルシステムにおけるメタデータ管理を、従来の POSIX ツールの限界を超えて効率的かつスケーラブルに実現できるか？
• RQ2 ChangeLogs を用いた増分メタデータ監視によって、ファイルシステム管理における遅延とリソースコストをどの程度低減できるか？
• RQ3 中央集約型でインデックス化されたデータベースモデルは、数十億のファイルでスケーリング可能なリアルタイムで正確な統計とポリシー実行を提供できるか？
• RQ4 HSM やデータティアリングといった進化する HPC ストレージワークロードをサポートするため、ポリシー自動化を一般化し拡張可能にするにはどのようなアプローチが適しているか？
• RQ5 将来の HPC システム（SSD や回転ディスクを含む異種ストレージ、分散ネームスペースを有する）を想定したスケーリングを実現するには、どのようなアーキテクチャ的変更が必要か？

主な発見

• Robinhood は、通常数時間のスキャンを要するユーザー固有のファイル数、使用容量、平均ファイルサイズといった主要なファイルシステム統計に O(1) のアクセスを可能にしている。
• 事前集計され、処理時に即座に更新されるデータベースビューを活用することで、集計されたメトリクス（例：サイズまたはインデックス数で上位のユーザー）の取得時間を数時間から 1 秒未塔に短縮している。
• MDT ChangeLogs を用いた増分処理により、ファイルシステムへの負荷を最小限に抑えながら、最新のメタデータ状態を維持できる。
• ファイルサイズ、所有者、アクセスパターンなどの条件に基づいてリアルタイムのアラートやポリシー処理をトリガーでき、能動的なデータ管理を可能にする。
• Robinhood v3 のプラグインベースアーキテクチャにより、最小限のコードでカスタムポリシー（例：ジョブ単位の追跡、整合性チェック）を定義可能となり、拡張性が向上している。
• 本システムはプロダクション環境で利用可能であり、Bull や Cray、Intel などの主要な Lustre ディストリビューションにすでに統合されており、大規模 HPC 環境における採用と安定性を実証している。