[论文解读] Flow-Bench: A Dataset for Computational Workflow Anomaly Detection

George Papadimitriou, Hongwei Jin+6 more|arXiv (Cornell University)|Jun 16, 2023

Scientific Computing and Data ManagementDecision Sciences被引用 3

一句话总结

本文提出了 Flow-Bench，一个用于计算工作流异常检测的新基准数据集，通过在分布式 HPC 系统上执行的真实工作流中注入合成异常而构建。该研究在表格化和图结构的工作流数据上评估了无监督机器学习技术，结果表明尽管部分方法表现中等（如 F1 最高达 0.663），但许多方法因内存问题或精度低下而失败，凸显了在科学工作流中采用领域特定异常检测方法的必要性。

ABSTRACT

A computational workflow, also known as workflow, consists of tasks that must be executed in a specific order to attain a specific goal. Often, in fields such as biology, chemistry, physics, and data science, among others, these workflows are complex and are executed in large-scale, distributed, and heterogeneous computing environments prone to failures and performance degradation. Therefore, anomaly detection for workflows is an important paradigm that aims to identify unexpected behavior or errors in workflow execution. This crucial task to improve the reliability of workflow executions can be further assisted by machine learning-based techniques. However, such application is limited, in large part, due to the lack of open datasets and benchmarking. To address this gap, we make the following contributions in this paper: (1) we systematically inject anomalies and collect raw execution logs from workflows executing on distributed infrastructures; (2) we summarize the statistics of new datasets, and provide insightful analyses; (3) we convert workflows into tabular, graph and text data, and benchmark with supervised and unsupervised anomaly detection techniques correspondingly. The presented dataset and benchmarks allow examining the effectiveness and efficiency of scientific computational workflows and identifying potential research opportunities for improvement and generalization. The dataset and benchmark code are publicly available \url{https://poseidon-workflows.github.io/FlowBench/} under the MIT License.

研究动机与目标

• 为评估计算工作流中的异常检测，解决缺乏公开、标准化基准数据集的问题。
• 通过在真实科学和数据科学工作流中注入合成故障，生成真实且多样的工作流异常数据。
• 在工作流的表格化和图结构表示上，评估最先进无监督异常检测技术的性能。
• 识别现有异常检测方法在应用于大规模、复杂工作流时的局限性和可扩展性问题。
• 提供一个公开的、采用 MIT 许可证的数据库和代码库，以支持工作流异常检测领域的可复现研究和未来开发。

提出的方法

• 在分布式 HPC 基础设施上运行的真实科学和数据科学工作流中，系统性地注入异常（如任务延迟、失败和资源过载）。
• 从 USC、ANL、RENCI 和 ORNL 等系统的异构大规模计算环境中收集工作流的原始执行日志。
• 将工作流数据转换为表格化和图结构格式，将依赖关系建模为有向无环图（DAG），以支持基于图的异常检测。
• 在生成的数据集上对 15 种最先进无监督异常检测方法（包括 PyOD 和 PyGOD 技术）进行基准测试。
• 使用标准指标（如 ROC-AUC、F1-score、top-k 精度和内存效率，例如内存溢出错误）评估方法性能。
• 提供新数据集和现有公开数据集的全面统计摘要，以支持对比分析和方法开发。

实验结果

研究问题

• RQ1 当应用于具有合成异常的真实计算工作流时，现有无监督异常检测技术的有效性如何？
• RQ2 当前异常检测方法在大规模工作流数据上的可扩展性和内存效率存在哪些限制？
• RQ3 F1-score 和 ROC-AUC 等性能指标在不同工作流类型（如模拟、数据分析、机器学习）之间如何变化？
• RQ4 图结构表示与表格化表示相比，在多大程度上能提升异常检测性能？
• RQ5 所提出的基准数据集在支持开发更稳健和泛化能力更强的科学工作流异常检测模型方面，具有多大潜力？

主要发现

• 许多标准异常检测方法（包括 LOF 和 OCSVM）在处理中等规模工作流数据时即出现内存溢出（OOM）错误，表明存在可扩展性问题。
• 表现最佳的方法 KNN 在数据科学工作流上达到 F1-score 为 0.663，但其他方法如 LOF 和 INNE 的 F1-score 低于 0.10，表明检测性能较差。
• 基于图的方法（如 GNN）虽具潜力，但被部分表格化方法超越，表明仅依赖图结构可能不足以实现有效的异常检测。
• LMDD 方法因超时错误（TLE）而失败，凸显了某些算法在真实计算约束下的不稳定性。
• 数据集存在显著的类别不平衡，正常实例远多于异常实例，这对无监督模型的泛化能力构成挑战。
• 原始日志数据包含丰富的上下文信息，可被基于 NLP 的模型利用，提示未来研究可超越图结构和表格化表示。