[论文解读] Event-based Program Analysis with DeWiz

Christian Schaubschläger, Dieter Kranzlmüller+1 more|ArXiv.org|Oct 6, 2003

Parallel Computing and Optimization Techniques参考文献 14被引用 11

一句话总结

DeWiz 是一个可扩展的模块化调试框架，用于并行和分布式程序，采用事件图模型来表示程序执行过程。通过支持分布式分析、模式匹配和用户定义模块的抽象，DeWiz 降低了可视化复杂度，并以高效率检测大规模追踪中的通信错误和结构异常。

ABSTRACT

Due to the increased complexity of parallel and distributed programs, debugging of them is considered to be the most difficult and time consuming part of the software lifecycle. Tool support is hence a crucial necessity to hide complexity from the user. However, most existing tools seem inadequate as soon as the program under consideration exploits more than a few processors over a long execution time. This problem is addressed by the novel debugging tool DeWiz (Debugging Wizard), whose focus lies on scalability. DeWiz has a modular, scalable architecture, and uses the event graph model as a representation of the investigated program. DeWiz provides a set of modules, which can be combined to generate, analyze, and visualize event graph data. Within this processing pipeline the toolset tries to extract useful information, which is presented to the user at an arbitrary level of abstraction. Additionally, DeWiz is a framework, which can be used to easily implement arbitrary user-defined modules.

研究动机与目标

• 解决具有数百或数千个处理器的大规模并行和分布式程序在调试中的可扩展性挑战。
• 通过将程序行为抽象为事件图，降低对长时间运行执行产生的大规模追踪数据进行分析的复杂度。
• 提供一个模块化、可扩展的框架，支持为多样化调试和性能分析任务定制分析模块。
• 通过自动化事件图分析，实现对通信错误（如消息大小不匹配、挂起发送）的高效检测。
• 通过明确定义的接口支持与现有工具的集成，提升工具互操作性和可扩展性。

提出的方法

• 将程序执行表示为有向事件图，其中节点为事件（如发送、接收、计算），边表示因果或时间关系。
• 采用模块化架构，使独立的分析模块处理事件图，支持分布式和可扩展计算。
• 应用抽象技术（如过滤和聚类）以降低事件图复杂度，并聚焦于相关的行为模式。
• 使用模式匹配技术检测由事件序列和关系定义的重复交互模式（如简单交换模式）。
• 通过在事件图中高亮可疑事件，可视化异常情况（如消息长度不匹配、挂起发送）。
• 通过明确定义的协议支持用户自定义模块，实现与外部分析工具的集成，并支持特定应用的定制化。

实验结果

研究问题

• RQ1 程序分析工具如何有效扩展以处理具有高处理器数量和长时间执行的大型并行和分布式程序？
• RQ2 何种表示模型能够实现对并行程序调试中复杂事件追踪的高效抽象和可视化？
• RQ3 如何在可扩展框架内实现通信错误（如消息大小不匹配、挂起发送）的自动化检测？
• RQ4 在多大程度上可以检测到重复的行为模式（如消息交换循环），并用于简化事件图可视化？
• RQ5 模块化框架在支持与现有调试和性能分析工具的可扩展性和互操作性方面有何作用？

主要发现

• DeWiz 通过将行为抽象为事件图并应用过滤和聚类技术，成功降低了大规模程序追踪的复杂度。
• 该框架能够检测通信错误，如消息长度不匹配和挂起的发送/接收操作，并通过高亮提示供用户检查。
• 模式匹配模块可识别重复的交互模式（如简单交换模式），从而支持更高层次的可视化和错误检测。
• 模块化架构支持分布式分析，并可与外部工具集成，提升可扩展性和可扩展性。
• 带有异常高亮的事件图可视化为用户提供了直观的高层次程序行为概览，即使在16个或更多进程的复杂执行中也适用。
• 该方法在实际应用中具有可行性，但需通过生产工作负载的进一步验证，才能实现全面部署。