[論文レビュー] Verification and Diagnostics Framework in ATLAS Trigger/DAQ

Igor Alexandrov, A. Amorim+22 more|arXiv (Cornell University)|May 29, 2003

Distributed and Parallel Computing Systems参考文献 1被引用数 4

ひとこと要約

本論文は、ATLASトリガーおよびデータ収集（TDAQ）システムの知識ベース型検証および診断フレームワークを提示しており、構成可能で依存関係に配慮したテストシーケンスを通じて、自動テストと障害診断を可能にする。CLIPSエキスパートシステムシェルを用いて実装されており、シフト担当者がシステムの健全性、障害原因、回復策の提案についてリアルタイムでGUIでフィードバックを受けることができ、高エネルギー物理学実験における複雑なマルチコンponentシステムのダウンタイムを顕著に削減する。

ABSTRACT

Trigger and data acquisition (TDAQ) systems for modern HEP experiments are composed of thousands of hardware and software components depending on each other in a very complex manner. Typically, such systems are operated by non-expert shift operators, which are not aware of system functionality details. It is therefore necessary to help the operator to control the system and to minimize system down-time by providing knowledge-based facilities for automatic testing and verification of system components and also for error diagnostics and recovery. For this purpose, a verification and diagnostic framework was developed in the scope of ATLAS TDAQ. The verification functionality of the framework allows developers to configure simple low-level tests for any component in a TDAQ configuration. The test can be configured as one or more processes running on different hosts. The framework organizes tests in sequences, using knowledge about components hierarchy and dependencies, and allowing the operator to verify the functionality of any subset of the system. The diagnostics functionality includes the possibility to analyze the test results and diagnose detected errors, e.g. by starting additional tests and understanding reasons of failures. A conclusion about system functionality, error diagnosis and recovery advice are presented to the operator in a GUI. The current implementation uses the CLIPS expert system shell for knowledge representation and reasoning.

研究の動機と目的

• 高エネルギー物理学実験で使用される複雑でマルチコンponentなTDAQシステムの信頼性を維持するという課題に対処すること。
• 専門知識がなくてもTDAQコンポーネントの検証と診断が行える非エキスパートのシフト担当者を支援することで、システムのダウンタイムを短縮すること。
• テスト、診断、回復アドバイスを統合した一元化インターフェースに統合されたスケーラブルで自動化されたフレームワークを構築すること。
• 依存関係と階層的関係をモデル化することで、システムコンポーネントの動的検証を可能にすること。
• 障害の原因特定とシステム回復に向けた的確なインサイトを提供するルールベース推論を通じて、実用的洞察を提供すること。

提案手法

• フレームワークは、コンポーネントの階層構造や依存関係を含むシステム知識を表現するためにCLIPSエキスパートシステムシェルを用いる。
• 低レベルのテストは個々のコンポーネントに対して設定され、依存関係グラフに基づいてテストシーケンスに統合される。
• テストは分散ホスト上で実行され、結果がリアルタイムで収集・分析される。
• 障害検出時に診断論理が追加のテストをトリガーすることで、障害原因の特定が行われる。
• GUIはオペレータにシステム状態、障害診断、回復推奨事項を提示する。
• フレームワークはシステムサブセットの選択的検証をサポートしており、フルシステムの検証なしに特定の検証が可能である。

実験結果

リサーチクエスチョン

• RQ1 非エキスパートのオペレータがアクセス可能な方法で、分散型TDAQコンポーネントの自動検証をどのように達成できるか。
• RQ2 依存関係モデリングが、効率的かつ正確なシステム診断を可能にする役割は何か。
• RQ3 ルールベース推論は、複雑なHEPシステムにおける障害の原因特定と回復支援をどのように改善できるか。
• RQ4 診断をリアルタイムのテスト実行と統合することで、システム稼働時間にどのような影響を与えるか。
• RQ5 知識ベースシステムは、高いシステム信頼性を維持しつつ、オペレータの認知的負荷を軽減できるか。

主な発見

• フレームワークは、分散型のハードウェアおよびソフトウェア要素にまたがるATLAS TDAQコンポーネントの自動的かつ依存関係に配慮したテストを成功裏に実現した。
• CLIPSの使用により、システムのコンポーネント階層構造と相互依存関係の効果的モデリングが可能となり、体系的な検証が可能になった。
• 診断論理により、障害原因の特定のためのフォローアップテストがトリガーされ、障害原因の特定の正確性が向上した。
• GUIは実行可能な回復アドバイスを提供し、平均修理時間（MTTR）を短縮し、システムダウンタイムを最小限に抑えた。
• フレームワークは選択的検証をサポートしており、フルシステムの検証なしに関連するサブシステムのみをテストできる。
• 本システムはリアルタイム運用に導入可能であり、シフト担当者が読みやすい形式で結果が提示される。