[论文解读] Hyperparameter Optimization for Effort Estimation

Tianpei Xia, Rahul Krishna+4 more|arXiv (Cornell University)|Apr 28, 2018

Software Engineering Research参考文献 73被引用 33

一句话总结

本文提出 OIL（优化归纳学习）框架，一种用于软件工作量估算的超参数优化框架，结合回归树（CART）与快速优化器（如差分进化和 FLASH）。实验表明，该组合可在数分钟内实现卓越的估算精度，优于默认设置和更慢的方法，使超参数调优在实际应用中既高效又实用。

ABSTRACT

Software analytics has been widely used in software engineering for many tasks such as generating effort estimates for software projects. One of the "black arts" of software analytics is tuning the parameters controlling a data mining algorithm. Such hyperparameter optimization has been widely studied in other software analytics domains (e.g. defect prediction and text mining) but, so far, has not been extensively explored for effort estimation. Accordingly, this paper seeks simple, automatic, effective and fast methods for finding good tunings for automatic software effort estimation. We introduce a hyperparameter optimization architecture called OIL (Optimized Inductive Learning). We test OIL on a wide range of hyperparameter optimizers using data from 945 software projects. After tuning, large improvements in effort estimation accuracy were observed (measured in terms of standardized accuracy). From those results, we recommend using regression trees (CART) tuned by different evolution combine with default analogy-based estimator. This particular combination of learner and optimizers often achieves in a few hours what other optimizers need days to weeks of CPU time to accomplish. An important part of this analysis is its reproducibility and refutability. All our scripts and data are on-line. It is hoped that this paper will prompt and enable much more research on better methods to tune software effort estimators.

研究动机与目标

• 为解决准确估算软件工作量的迫切需求，该需求直接影响项目预算和成败。
• 探究超参数调优是否能超越默认配置，进一步提升工作量估算性能。
• 评估快速、自动化的超参数优化是否可行且有效于工作量估算。
• 识别适用于实际部署的、实用、高效且高性能的学习器与优化器组合。

提出的方法

• OIL 框架通过在 945 个软件项目上使用多种优化器，自动化实现工作量估算的超参数调优。
• 评估多种机器学习学习器，重点聚焦于回归树（CART），并测试其与差分进化和 FLASH 等先进优化器的组合效果。
• 框架采用性能驱动的搜索策略，在超过 6,000 种组合中识别最优超参数。
• 以 ATLM 和 LP4EE 等知名方法为基准，使用标准化的准确率和相对误差作为关键指标进行对比。
• 该方法不依赖数据特征假设（如无需 COCOMO 约束），从而具备更广泛的应用潜力。
• 整个流程已开源，以支持可复现性及未来基准测试。

实验结果

研究问题

• RQ1 RQ1：'开箱即用'的默认超参数是否足以实现准确的工作量估算，还是调优能显著提升性能？
• RQ2 RQ2：一组优化后的超参数能否在不同数据集间复用，还是设置具有数据集特异性？
• RQ3 RQ3：快速超参数优化方法能否实现与慢速方法相当的性能，从而使其在工业应用中具备实用性？
• RQ4 RQ4：哪种特定的学习器与优化器组合能在最短时间内实现最佳性能？

主要发现

• 调优后的学习器显著优于未调优的默认设置，表明应摒弃‘开箱即用’的配置用于工作量估算。
• 不存在通用的默认超参数设置；最优配置在不同数据集间差异显著，因此在新数据上重新调优至关重要。
• 更快的优化器（如差分进化和 FLASH）可实现与慢速方法相当的性能，证明超参数调优既快速又高效。
• CART 搭配差分进化或 FLASH 的组合可在数分钟内达到最先进精度，优于需数小时甚至数天的方法。
• 本研究识别出一种简单、快速且高效的基线方案：对新数据集使用 CART 搭配 FLASH 或差分进化。
• 结果表明，超超参数优化可能可行，因为像 FLASH 这类快速优化器可高效调优较慢的优化器本身。