[論文レビュー] Event-based Program Analysis with DeWiz

Christian Schaubschläger, Dieter Kranzlmüller+1 more|ArXiv.org|Oct 6, 2003

Parallel Computing and Optimization Techniques参考文献 14被引用数 11

ひとこと要約

DeWiz は、プログラム実行をイベントグラフモデルで表現することで、並列および分散プログラムのスケーラブルでモジュラーなデバッグフレームワークである。分散分析、パターンマッチング、ユーザー定義モジュールによる抽象化を可能にすることで、可視化の複雑さを低減し、大規模なトレースにおいて通信エラーと構造的異常を高い効率で検出する。

ABSTRACT

Due to the increased complexity of parallel and distributed programs, debugging of them is considered to be the most difficult and time consuming part of the software lifecycle. Tool support is hence a crucial necessity to hide complexity from the user. However, most existing tools seem inadequate as soon as the program under consideration exploits more than a few processors over a long execution time. This problem is addressed by the novel debugging tool DeWiz (Debugging Wizard), whose focus lies on scalability. DeWiz has a modular, scalable architecture, and uses the event graph model as a representation of the investigated program. DeWiz provides a set of modules, which can be combined to generate, analyze, and visualize event graph data. Within this processing pipeline the toolset tries to extract useful information, which is presented to the user at an arbitrary level of abstraction. Additionally, DeWiz is a framework, which can be used to easily implement arbitrary user-defined modules.

研究の動機と目的

• 数百または数千のプロセッサを有する大規模な並列および分散プログラムのデバッグにおけるスケーラビリティの課題に対処する。
• 長時間実行される実行からのマスティブレースデータの分析の複雑さを低減するため、プログラム動作をイベントグラフに抽象化する。
• 多様なデバッグおよびパフォーマンス分析タスクに対応できるカスタマイズ可能な分析モジュールをサポートするモジュラーで拡張可能なフレームワークを提供する。
• 自動化されたイベントグラフ分析を通じて、通信エラー（例：メッセージサイズの不一致、保留中の送信）と構造的パターン（例：メッセージ交換ループ）を効率的に検出する。
• 明確に定義されたインタフェースを通じて既存ツールとの統合を支援し、ツール間相互運用性とスケーラビリティを向上させる。

提案手法

• ノードがイベント（例：送信、受信、計算）であり、エッジが因果的または時間的関係を表す有向イベントグラフとして、プログラム実行を表現する。
• 独立した分析モジュールがイベントグラフを処理するモジュラーなアーキテクチャを採用することで、分散およびスケーラブルな計算を実現する。
• フィルタリングやクラスタリングなどの抽象化技術を適用して、イベントグラフの複雑さを低減し、関連する行動パターンに焦点を当てる。
• イベントのシーケンスと関係によって定義された繰り返しパターン（例：シンプルな交換パターン）を検出するためのパターンマッチングを用いる。
• 不一致したメッセージ長や保留中の送信などの異常を、イベントグラフ内の懸念すべきイベントを強調表示することで可視化する。
• 明確に定義されたプロトコルを通じてユーザー定義モジュールをサポートし、外部分析ツールとの統合と特定アプリケーション向けのカスタマイズを可能にする。

実験結果

リサーチクエスチョン

• RQ1 大規模な並列および分散プログラム（高プロセッサ数および長時間実行を伴う）を効果的にスケーラブルに処理できるプログラム分析ツールはどのように実現できるか？
• RQ2 並列プログラムデバッグにおいて、複雑なイベントトレースの効率的抽象化と可視化を可能にする表現モデルは何か？
• RQ3 スケーラブルなフレームワーク内での通信エラー（例：メッセージサイズの不一致、保留中の送信）の自動検出は、どのように達成できるか？
• RQ4 繰り返し発生する行動パターン（例：メッセージ交換ループ）は、どの程度検出可能であり、イベントグラフ可視化の簡素化にどのように利用できるか？
• RQ5 モジュラーなフレームワークは、既存のデバッグおよびパフォーマンス分析ツールとの拡張性と相互運用性をどの程度サポートできるか？

主な発見

• DeWiz は、動作をイベントグラフに抽象化し、フィルタリングやクラスタリング技術を適用することで、大規模なプログラムトレースの複雑さを効果的に低減した。
• フレームワークは、メッセージ長の不一致や送信/受信の保留状態といった通信エラーを検出し、ユーザーの検査用に強調表示した。
• パターンマッチングモジュールは、シンプルな交換パターンのような繰り返し発生する相互作用パターンを同定でき、高レベルの可視化とエラー検出を可能にした。
• モジュラーなアーキテクチャにより、分散分析と外部ツールとの統合が可能となり、スケーラビリティと拡張性が向上した。
• 異常を強調表示したイベントグラフ可視化により、16個以上のプロセスを含む複雑な実行でも、ユーザーが直感的で高レベルのプログラム動作の概要を把握できるようになった。
• 本アプローチは実世界の応用において実現可能であるが、本格的な展開のためには生産ワークロードを用いたさらなる検証が必要である。