[论文解读] BiLO-CPDP: Bi-Level Programming for Automated Model Discovery in Cross-Project Defect Prediction

Ke Li, Zilin Xiang+2 more|arXiv (Cornell University)|Aug 31, 2020

Software Engineering Research参考文献 86被引用 4

一句话总结

本文提出 BiLO-CPDP，这是首个用于自动化跨项目缺陷预测（CPDP）模型发现的双层规划框架。它通过分层的上下层优化，联合优化分类器与迁移学习器的选择及其超参数，在 20 个项目上优于 21 种现有的 CPDP 技术和 Auto-Sklearn，尤其在为上层模型组合搜索分配更多计算预算时表现更优。

ABSTRACT

Cross-Project Defect Prediction (CPDP), which borrows data from similar projects by combining a transfer learner with a classifier, have emerged as a promising way to predict software defects when the available data about the target project is insufficient. How-ever, developing such a model is challenge because it is difficult to determine the right combination of transfer learner and classifier along with their optimal hyper-parameter settings. In this paper, we propose a tool, dubbedBiLO-CPDP, which is the first of its kind to formulate the automated CPDP model discovery from the perspective of bi-level programming. In particular, the bi-level programming proceeds the optimization with two nested levels in a hierarchical manner. Specifically, the upper-level optimization routine is designed to search for the right combination of transfer learner and classifier while the nested lower-level optimization routine aims to optimize the corresponding hyper-parameter settings.To evaluateBiLO-CPDP, we conduct experiments on 20 projects to compare it with a total of 21 existing CPDP techniques, along with its single-level optimization variant and Auto-Sklearn, a state-of-the-art automated machine learning tool. Empirical results show that BiLO-CPDP champions better prediction performance than all other 21 existing CPDP techniques on 70% of the projects, while be-ing overwhelmingly superior to Auto-Sklearn and its single-level optimization variant on all cases. Furthermore, the unique bi-level formalization inBiLO-CPDP also permits to allocate more budget to the upper-level, which significantly boosts the performance.

研究动机与目标

• 为解决在跨项目缺陷预测（CPDP）中选择最优迁移学习器与分类器组合及其超参数的挑战，而现有工作多采用非系统性方法。
• 克服现有 CPDP 技术仅关注分类器超参数或使用固定组合的局限性，从而导致性能不佳。
• 通过统一的优化框架，实现高绩效 CPDP 模型的自动化、系统化发现。
• 探索在 CPDP 中计算预算在模型架构选择（上层）与超参数调优（下层）之间分配的影响。
• 证明联合优化迁移学习器与分类器组合比单独优化超参数更为关键。

提出的方法

• 将 CPDP 模型发现建模为双层优化问题：上层选择最优的迁移学习器与分类器组合，下层则分别调优其超参数。
• 采用分层优化结构，使下层优化嵌套于上层之中，确保每种候选模型组合的超参数均得到最优调优。
• 使用可配置的迁移学习器与分类器组合作为输入，支持对多样化模型架构的系统性探索。
• 应用灵活的预算分配策略，允许将更多计算资源分配给上层，以探索更广泛的模型组合。
• 采用标准的机器学习评估指标（AUC）与统计检验（Scott-Knott、Wilcoxon 符号秩检验、效应量），确保性能比较的稳健性。
• 与现有 AutoML 原则集成，但通过显式建模 CPDP 中模型架构与超参数优化之间的交互关系，实现进一步扩展。

实验结果

研究问题

• RQ1 双层规划能否有效实现高绩效 CPDP 模型的自动化发现，通过联合优化模型架构与超参数？
• RQ2 BiLO-CPDP 与 21 种采用手工组合与报告超参数的先进 CPDP 技术相比，性能如何？
• RQ3 BiLO-CPDP 在 CPDP 任务中是否优于领先的 AutoML 工具 Auto-Sklearn？
• RQ4 将更多计算预算分配给上层优化（模型组合搜索）而非下层优化（超参数调优）会产生何种影响？
• RQ5 在 CPDP 中，选择最优迁移学习器与分类器组合是否比单独优化超参数更为关键？

主要发现

• 在 20 个评估项目中的 70% 上，BiLO-CPDP 超过所有 21 种现有 CPDP 技术，证明其在自动化模型发现方面的优越性。
• BiLO-CPDP 在全部 20 个项目上显著优于 Auto-Sklearn 及其单层优化变体，凸显其双层结构的优势。
• 为上层优化（模型组合搜索）分配更多计算预算可带来显著的性能提升，证实模型组合搜索的影响超过单独的超参数调优。
• 实证研究表明，最优的迁移学习器与分类器组合比超参数设置更具决定性，验证了联合优化的必要性。
• 双层规划的使用实现了更灵活、高效的预算分配策略，使实践者可在需要时优先进行模型架构探索。
• 统计检验确认 BiLO-CPDP 的性能提升并非随机波动所致，效应量大且结果置信度高。