[论文解读] AutoSpearman: Automatically Mitigating Correlated Metrics for Interpreting Defect Models

Jirayus Jiarpakdee, Chakkrit Tantithamthavorn+1 more|arXiv (Cornell University)|Jun 26, 2018

Industrial Vision Systems and Defect Detection被引用 4

一句话总结

该论文提出 AutoSpearman，一种自动化方法，利用斯皮尔曼等级相关系数和方差膨胀因子（VIF）分析来缓解缺陷预测模型中的相关软件度量。结果表明，常用特征选择技术产生的度量子集存在不一致且高度相关，而 AutoSpearman 在仅导致 AUC、F-measure 和 MCC 性能下降 1–2% 的情况下，实现了最高的子集一致性（在不同训练样本中度量一致性中位数达 69%）。

ABSTRACT

The interpretation of defect models heavily relies on software metrics that are used to construct them. However, such software metrics are often correlated to defect models. Prior work often uses feature selection techniques to remove correlated metrics in order to improve the performance of defect models. Yet, the interpretation of defect models may be misleading if feature selection techniques produce subsets of inconsistent and correlated metrics. In this paper, we investigate the consistency and correlation of the subsets of metrics that are produced by nine commonly-used feature selection techniques. Through a case study of 13 publicly-available defect datasets, we find that feature selection techniques produce inconsistent subsets of metrics and do not mitigate correlated metrics, suggesting that feature selection techniques should not be used and correlation analyses must be applied when the goal is model interpretation. Since correlation analyses often involve manual selection of metrics by a domain expert, we introduce AutoSpearman, an automated metric selection approach based on correlation analyses. Our evaluation indicates that AutoSpearman yields the highest consistency of subsets of metrics among training samples and mitigates correlated metrics, while impacting model performance by 1-2%pts. Thus, to automatically mitigate correlated metrics when interpreting defect models, we recommend future studies use AutoSpearman in lieu of commonly-used feature selection techniques.

研究动机与目标

• 调查常用特征选择技术在缺陷预测中是否能产生一致且非相关的度量子集。
• 评估特征选择对度量相关性及模型可解释性可靠性的影响。
• 开发一种自动化的替代方案，以替代人工相关性分析，确保可解释缺陷模型中的一致度量选择。
• 将 AutoSpearman 的性能与一致性与九种广泛使用的缺陷预测特征选择技术进行比较。

提出的方法

• AutoSpearman 采用两步相关性缓解流程：首先，计算所有度量对之间的斯皮尔曼等级相关系数。
• 其次，使用方差膨胀因子（VIF）分析检测并移除表现出多重共线性的度量。
• 基于最高 VIF 值迭代移除度量，直至剩余所有度量的 VIF 值均小于 5。
• 该方法应用于 13 个公开缺陷数据集的训练样本，确保在不同随机划分下实现一致的度量选择。
• 一致性通过在多个训练样本中一致选择的度量的中位百分比进行衡量。
• 性能通过 AUC、F-measure 和 Matthews 相关系数（MCC）进行评估，并与九种特征选择技术进行比较。

实验结果

研究问题

• RQ1 RQ1：在缺陷数据集中，特征选择技术是否能在不同训练样本中一致地产生相同的度量子集？
• RQ2 RQ2：特征选择技术是否能有效缓解缺陷数据集中度量的相关性？
• RQ3 RQ3：AutoSpearman 在不同训练样本中产生的度量子集的一致性如何？
• RQ4 RQ4：与特征选择技术相比，AutoSpearman 对缺陷预测模型性能的影响如何？

主要发现

• 特征选择技术产生的度量子集不一致，来自同一数据集的不同训练样本中，仅有 6–41% 的度量被一致选择。
• 特征选择技术生成的度量子集最多可达 100% 包含相关度量，表明多重共线性未得到有效缓解。
• AutoSpearman 在所有评估方法中实现了最高的一致性，其在不同训练样本中一致选择的度量中位数达 69%。
• AutoSpearman 有效降低了度量相关性，同时仅在 AUC、F-measure 和 MCC 上造成 1–2 个百分点的性能下降。
• 本研究证实，人工相关性分析对于可靠模型解释至关重要，但其通过 AutoSpearman 实现自动化可显著提升可重现性与一致性。
• AutoSpearman 在度量子集一致性方面优于所有九种特征选择技术，是可解释缺陷建模的推荐方法。