[论文解读] FLASH: A Faster Optimizer for SBSE Tasks

Vivek Nair, Zhe Yu+1 more|arXiv (Cornell University)|May 14, 2017

Software Engineering Research参考文献 36被引用 5

一句话总结

FLASH 是一种新颖的基于决策树的优化器，专为搜索型软件工程（SBSE）设计，通过为每个目标增量式构建一棵树来引导高效采样。与最先进的算法（如 NSGA-II 和贝叶斯优化）相比，FLASH 所需的评估次数最多减少 99%，生成的模型更具可理解性，并且在其他方法无法终止的复杂问题上仍能有效扩展。

ABSTRACT

Most problems in search-based software engineering involve balancing conflicting objectives. Prior approaches to this task have required a large number of evaluations- making them very slow to execute and very hard to comprehend. To solve these problems, this paper introduces FLASH, a decision tree based optimizer that incrementally grows one decision tree per objective. These trees are then used to select the next best sample. This paper compares FLASH to state-of-the-art algorithms from search-based SE and machine learning. This comparison uses multiple SBSE case studies for release planning, configuration control, process modeling, and sprint planning for agile development. FLASH was found to be the fastest optimizer (sometimes requiring less than 1% of the evaluations used by evolutionary algorithms). Also, measured in terms of model size, FLASH's reasoning was far more succinct and comprehensible. Further, measured in terms of finding effective optimization, FLASH's recommendations were highly competitive with other approaches. Finally, FLASH scaled to more complex models since it always terminated (while state-of-the-art algorithm did not).

研究动机与目标

• 解决传统进化算法（EAs）在 SBSE 中评估成本高且可解释性差的问题。
• 克服贝叶斯优化在高维 SBSE 问题中可扩展性受限的局限。
• 开发一种结合软件分析、机器学习和进化计算洞察的混合优化器。
• 为多目标 SBSE 任务（如发布规划、配置控制和敏捷冲刺规划）提供一种快速、可解释且可扩展的进化算法替代方案。
• 通过多样化的现实世界 SBSE 案例研究，证明 FLASH 的有效性，并公开代码和模型以确保可复现性。

提出的方法

• FLASH 使用决策树学习器（CART）独立建模每个目标，增量式地为每个目标构建一棵树。
• 在每次迭代中，FLASH 通过最大化一个平衡探索与利用的启发式函数来选择下一个采样点，该函数基于树的预测结果。
• 通过使用简单且可解释的决策树，而非高斯过程或复杂模型，避免了昂贵的代理建模。
• 通过为每个目标维护独立的树，并采用基于支配关系的选择策略来实现多目标优化。
• FLASH 设计为即插即用的优化器，无需领域特定的超参数调优或分布假设。
• 该方法通过结合真实可配置系统与发布规划、配置和敏捷开发案例研究的合成变体进行评估。

实验结果

研究问题

• RQ1 非进化、基于树的优化器是否能在 SBSE 任务的评估效率方面超越最先进的进化算法（如 NSGA-II、SPEA2）？
• RQ2 在多目标 SBSE 环境中，FLASH 是否能生成比传统 EAs 或贝叶斯优化更具可解释性和可理解性的模型？
• RQ3 当应用于高维或复杂 SBSE 模型时，FLASH 相较于贝叶斯优化和 EAs 的可扩展性如何？
• RQ4 FLASH 是否能以显著少于竞争方法的评估次数，持续找到接近帕累托前沿的解？
• RQ5 FLASH 在哪些类型的 SBSE 问题中最有效？是否存在其不适用的情境？

主要发现

• 在某些案例研究中，FLASH 所需的评估次数不足进化算法（如 NSGA-II）的 1%，展现出卓越的速度。
• FLASH 生成的决策树显著更小且更易理解，从而能够更清晰地解释优化决策。
• FLASH 的优化性能与最先进方法相当，始终能发现接近真实帕累托前沿的解。
• 在全部 15 个真实可配置系统和 13 个案例研究变体中，FLASH 是唯一成功终止的算法，而其他方法均未能收敛。
• 在收敛速度和可扩展性方面，FLASH 超过了 ePAL、NSGA-II、SPEA2、MOEA/D 和 SWAY，尤其在高维或有约束的模型中表现更优。
• FLASH 及其相关模型的公开发布，为 SBSE 研究与实践中的可复现性和广泛应用提供了支持。