[論文レビュー] Understanding and Coping with Hardware and Software Failures in a Very Large Trigger Farm

Jim Kowalkowski|ArXiv.org|Jun 13, 2003

Distributed systems and fault tolerance参考文献 5被引用数 8

ひとこと要約

本論文は、フェルミラボのBTeV実験に特化した、大規模なトリガー農場における耐障害性インfra構造を提示している。これは、数千のプロセッサがリアルタイムのイベントフィルタリングを実行するもので、RTES共同研究グループは、障害の検出、隔離、回復を可能にするスケーラブルで検証可能かつ動的再構成可能なシステムを設計した。これにより、大規模クラスタに一般的な高い障害率下でもシステムの信頼性を確保する。

ABSTRACT

When thousands of processors are involved in performing event filtering on a trigger farm, there is likely to be a large number of failures within the software and hardware systems. BTeV, a proton/antiproton collider experiment at Fermi National Accelerator Laboratory, has designed a trigger, which includes several thousand processors. If fault conditions are not given proper treatment, it is conceivable that this trigger system will experience failures at a high enough rate to have a negative impact on its effectiveness. The RTES (Real Time Embedded Systems) collaboration is a group of physicists, engineers, and computer scientists working to address the problem of reliability in large-scale clusters with real-time constraints such as this. Resulting infrastructure must be highly scalable, verifiable, extensible by users, and dynamically changeable.

研究の動機と目的

• リアルタイムデータフィルタリングに使用される数千のプロセッサを備えた非常に大規模なトリガー農場で想定される高い障害率に対処すること。
• リアルタイムコンピューティング環境において頻発するハードウェアおよびソフトウェア障害にもかかわらず、システムの信頼性と継続的運用を確保すること。
• 大規模分散システムに適したスケーラブルで検証可能かつ拡張可能で、動的再構成が可能なインfra構造を設計すること。
• BTeV実験が直面する、厳しい性能制約下での強固で障害に強いリアルタイム処理のニーズを満たすこと。
• データ取得を中断させることなく、障害の自動検出、隔離、回復を可能にするフレームワークを開発すること。

提案手法

• 動的再構成と障害回復をサポートする分散型リアルタイムシステムアーキテクチャの設計。
• ハードウェアおよびソフトウェア障害をリアルタイムで検出するための監視およびログ記録メカニズムの実装。
• モジュラーで検証可能かつ拡張可能なシステム設計を可能にするコンポーネントベースのソフトウェアモデルの使用。
• 処理の継続性を維持するために、障害検出および回復ロジックをランタイム環境に統合すること。
• コンponentレベルの障害に対しても耐性を持つシステムを構築するために、RTES共同研究グループの多様な専門知識を活用すること。
• 遅延を最小限に抑え、障害対処の応答性を最大化するために、軽量でイベント駆動型の通信プロトコルの採用。

実験結果

リサーチクエスチョン

• RQ1 数千のプロセッサを備えた大規模トリガー農場は、頻発するハードウェアおよびソフトウェア障害にもかかわらず、どのようにして信頼性を維持できるか？
• RQ2 分散型で高性能なコンピューティングシステムにおいて、リアルタイムの障害検出および回復を可能にするアーキテクチャ的およびソフトウェア的技法は何か？
• RQ3 スケーラブルで検証可能でありながら、動的再構成をサポートするシステムは、どのように設計できるか？
• RQ4 リアルタイム物理学データ取得環境において、障害状態下でも継続的なデータ処理を保証するメカニズムは何か？
• RQ5 システムの性能を損なわず、不必要に複雑化させることなく、どのようにして耐障害性を実現できるか？

主な発見

• 提示されたインフラ構造は、大規模トリガー農場で一般的な高い障害率を効果的に管理し、持続的なデータ処理を実現した。
• ランタイム環境に統合された自動障害検出および回復メカニズムにより、高い可用性が達成された。
• コンポーネントベースの設計により、モジュラーな検証と動的再構成が可能になり、保守性とスケーラビリティが向上した。
• 極めて厳しいリアルタイム処理要件が課されるBTeV実験の文脈において、この解決策が実効的であることが実証された。
• RTES共同研究グループの多様な分野の知見を統合した手法により、大規模科学コンピューティングに適した堅牢で拡張可能なフレームワークが得られた。
• 一時的および持続的障害の両方に対して耐性を示し、データ損失とダウンタイムを最小限に抑えた。