[论文解读] An Effective Data-Driven Approach for Localizing Deep Learning Faults

Mohammad Wardat, Breno Dantas Cruz+2 more|arXiv (Cornell University)|Jul 18, 2023

Software Engineering Research被引用 5

一句话总结

该论文提出 Deep4Deep，一种数据驱动方法，通过在 DNN 训练过程中提取的动态和静态特征，利用基于 LSTM 的学习技术，自动定位多种类型的深度学习故障。该方法在变异模型上的准确率、精确率和召回率均优于先前工作，在真实模型上也表现出相当的性能，实现了无需人工规则工程的可扩展、自动化的故障根因诊断。

ABSTRACT

Deep Learning (DL) applications are being used to solve problems in critical domains (e.g., autonomous driving or medical diagnosis systems). Thus, developers need to debug their systems to ensure that the expected behavior is delivered. However, it is hard and expensive to debug DNNs. When the failure symptoms or unsatisfied accuracies are reported after training, we lose the traceability as to which part of the DNN program is responsible for the failure. Even worse, sometimes, a deep learning program has different types of bugs. To address the challenges of debugging DNN models, we propose a novel data-driven approach that leverages model features to learn problem patterns. Our approach extracts these features, which represent semantic information of faults during DNN training. Our technique uses these features as a training dataset to learn and infer DNN fault patterns. Also, our methodology automatically links bug symptoms to their root causes, without the need for manually crafted mappings, so that developers can take the necessary steps to fix faults. We evaluate our approach using real-world and mutated models. Our results demonstrate that our technique can effectively detect and diagnose different bug types. Finally, our technique achieved better accuracy, precision, and recall than prior work for mutated models. Also, our approach achieved comparable results for real-world models in terms of accuracy and performance to the state-of-the-art.

研究动机与目标

• 解决在训练过程中多种故障类型共存、症状和根因各不相同所带来的深度神经网络（DNN）调试挑战。
• 通过用数据驱动的学习替代手工规则，减少故障定位所需的手动工作量。
• 实现在各种架构和新兴故障类型下，自动、可扩展且可扩展的 DNN 故障定位。
• 通过利用模型行为的语义特征，直接将观察到的训练症状与根因关联，提升调试效率。
• 通过提供精确的故障定位，为未来实现自动修复提供支持。

提出的方法

• 在每个训练时间戳提取模型参数（权重、梯度、指标）的动态特征，以捕捉训练过程中的行为模式。
• 从以 ONNX 格式表示的模型源代码中提取静态特征，包括表示结构和语法信息的标记向量。
• 将动态和静态特征整合为统一表示，以同时捕捉 DNN 的运行时行为和结构语义。
• 在组合特征集上训练 LSTM 模型，以学习故障症状与根因之间的复杂非线性关系。
• 使用训练好的 LSTM 模型基于观察到的训练动态预测并定位故障类型，实现自动诊断。
• 通过在包含新型故障类型的全新数据集上微调模型，支持可扩展性，使模型能够适应新兴故障。

实验结果

研究问题

• RQ1 数据驱动方法是否能有效同时检测和定位多种类型的 DNN 故障，超越先前仅针对单一故障类型的技术？
• RQ2 在未指定手动规则的情况下，基于动态和静态特征训练的 LSTM 模型在多大程度上能学习将故障症状映射到其根因？
• RQ3 在真实世界模型和变异模型上，该方法在准确率、精确率和召回率方面相较于现有故障定位技术的优越程度如何？
• RQ4 该方法是否可通过微调扩展以支持新故障类型，从而确保长期可扩展性？
• RQ5 与单独使用任一数据源相比，动态和静态特征的融合在多大程度上提升了故障定位性能？

主要发现

• 在变异模型上，Deep4Deep 的精确率、召回率和 F1 分数均优于先前工作（DeepLocalize 和 UMLAUT），证明其在检测多样化故障类型方面的优越性。
• 在真实世界模型上，Deep4Deep 的准确率和性能与最先进方法相当，验证了其在实际场景中的有效性。
• 动态和静态特征的融合显著提升了故障定位的准确性，通过捕捉行为和结构语义信息。
• 基于 LSTM 的模型成功学习了训练症状与根因之间的复杂非线性映射，实现了无需人工规则工程的精确诊断。
• 该方法具有可扩展性：通过在新故障类型数据集上微调，模型可适应新兴故障，支持长期可维护性。
• Deep4Deep 可同时定位单个模型中的多种故障，克服了先前方法一次仅聚焦一种故障类型局限。