[论文解读] Debugging Crashes using Continuous Contrast Set Mining

Rebecca Qian, Yang Yu+4 more|arXiv (Cornell University)|Nov 12, 2019

Network Security and Intrusion Detection参考文献 13被引用 4

一句话总结

本文提出连续对比集挖掘（CCSM），一种通过直接分析连续和混合数据特征（无需离散化）来调试软件崩溃的新方法。该方法引入加权异常评分与不确定性度量，以提升可解释性与可扩展性，在 Facebook 的真实崩溃诊断中，相比基于离散化的基线方法实现了 40 倍的加速。

ABSTRACT

Facebook operates a family of services used by over two billion people daily on a huge variety of mobile devices. Many devices are configured to upload crash reports should the app crash for any reason. Engineers monitor and triage millions of crash reports logged each day to check for bugs, regressions, and any other quality problems. Debugging groups of crashes is a manually intensive process that requires deep domain expertise and close inspection of traces and code, often under time constraints. We use contrast set mining, a form of discriminative pattern mining, to learn what distinguishes one group of crashes from another. Prior works focus on discretization to apply contrast mining to continuous data. We propose the first direct application of contrast learning to continuous data, without the need for discretization. We also define a weighted anomaly score that unifies continuous and categorical contrast sets while mitigating bias, as well as uncertainty measures that communicate confidence to developers. We demonstrate the value of our novel statistical improvements by applying it on a challenging dataset from Facebook production logs, where we achieve 40x speedup over baseline approaches using discretization.

研究动机与目标

• 解决在每日处理数百万崩溃报告的大规模生产系统中，手动崩溃诊断工作量过大的挑战。
• 在无需离散化的情况下，实现对混合数据类型（尤其是连续变量）的有效对比集挖掘，避免因离散化导致的分布失真与可解释性降低。
• 通过加权异常评分统一分类与连续对比集，结合不确定性估计，提升开发人员洞察力。
• 将对比挖掘扩展至高维数据集（包含数千个特征），以应对真实移动应用崩溃日志中的复杂场景。
• 在缺乏传统日志记录的真实 iOS 内存溢出崩溃数据上，验证该方法的有效性。

提出的方法

• 直接将对比集挖掘应用于连续数据，通过在连续值上使用参数统计检验（如 t 检验、方差分析）建模特征分布，绕过离散化步骤。
• 提出一种加权异常评分，结合效应量（Cohen’s d）与统计显著性，优先识别具有实际意义的对比，同时降低稀有或噪声特征带来的偏差。
• 采用置信区间推导的不确定性度量，向开发人员传达对检测到的对比集的信心程度，提升信任度与可用性。
• 使用 TF-IDF 向量化技术将用户操作事件序列编码为连续嵌入，实现对高维行为日志的可处理分析。
• 应用单因素方差分析（one-way ANOVA）与两样本 t 检验，检测崩溃组与总体之间连续特征分布的显著偏差。
• 实施递归划分策略以探索特征子集，识别高影响对比集，并基于最小组大小与效应量阈值设置剪枝启发式规则。

实验结果

研究问题

• RQ1 在无需离散化的情况下，能否有效将对比集挖掘应用于崩溃数据中的连续特征，同时保持分布保真度与可解释性？
• RQ2 如何统一分类与连续特征的异常评分，以支持全面的崩溃分析？
• RQ3 不确定性量化对开发人员在崩溃诊断中的信任度与决策过程有何影响？
• RQ4 连续对比挖掘能否检测到传统方法遗漏的细微但高影响的根本原因（如特定构建版本的内存问题）？
• RQ5 在真实世界、高维的崩溃数据集中，连续对比挖掘的性能与基于离散化的方法相比如何？

主要发现

• 在 Facebook 生产崩溃日志上应用时，CCSM 相较于基于离散化的基线对比挖掘方法，实现了 40 倍的加速。
• 该方法成功识别出一个关键的 x86 构建问题，其崩溃率比预期高出 56%，此前因小设备群体中信号微弱而未被发现。
• 开发人员反馈显示，突出显示网络条件差的对比集极具可操作性，证实连续特征分析能提供有意义的诊断洞察。
• 加权异常评分有效优先处理高影响特征，减少稀有或低证据模式带来的噪声，同时保持对细微但关键偏差的敏感性。
• 不确定性估计帮助开发人员评估结果的可靠性，减少误报，提升诊断决策的信心。
• 该方法在包含数千个特征的数据集上表现出强大的可扩展性，在离散化方法失效的场景中仍保持性能与可解释性。