[论文解读] Convex Hull-Based Multi-objective Genetic Programming for Maximizing ROC Performance

Pu Wang, Michael Emmerich+4 more|arXiv (Cornell University)|Mar 13, 2013

Imbalanced Data Classification Techniques参考文献 6被引用 4

一句话总结

该论文提出CH-MOGP，一种基于凸包的多目标遗传编程方法，采用定制的基于指标的选择方案，以最大化ROC凸包（ROCCH）从而提升分类器性能。通过聚焦于凸包下的面积而非传统的Pareto支配关系，CH-MOGP在22个UCI数据集上相较于NSGA-II、MOEA/D、SMS-EMOA以及传统机器学习方法（如C4.5和PRIE）实现了更优的ROCCH近似效果。

ABSTRACT

ROC is usually used to analyze the performance of classifiers in data mining. ROC convex hull (ROCCH) is the least convex major-ant (LCM) of the empirical ROC curve, and covers potential optima for the given set of classifiers. Generally, ROC performance maximization could be considered to maximize the ROCCH, which also means to maximize the true positive rate (tpr) and minimize the false positive rate (fpr) for each classifier in the ROC space. However, tpr and fpr are conflicting with each other in the ROCCH optimization process. Though ROCCH maximization problem seems like a multi-objective optimization problem (MOP), the special characters make it different from traditional MOP. In this work, we will discuss the difference between them and propose convex hull-based multi-objective genetic programming (CH-MOGP) to solve ROCCH maximization problems. Convex hull-based sort is an indicator based selection scheme that aims to maximize the area under convex hull, which serves as a unary indicator for the performance of a set of points. A selection procedure is described that can be efficiently implemented and follows similar design principles than classical hyper-volume based optimization algorithms. It is hypothesized that by using a tailored indicator-based selection scheme CH-MOGP gets more efficient for ROC convex hull approximation than algorithms which compute all Pareto optimal points. To test our hypothesis we compare the new CH-MOGP to MOGP with classical selection schemes, including NSGA-II, MOEA/D) and SMS-EMOA. Meanwhile, CH-MOGP is also compared with traditional machine learning algorithms such as C4.5, Naive Bayes and Prie. Experimental results based on 22 well-known UCI data sets show that CH-MOGP outperforms significantly traditional EMOAs.

研究动机与目标

• 为解决在不同类别分布和误分类成本下最大化ROC凸包（ROCCH）性能的挑战，这对选择最优分类器至关重要。
• 识别传统多目标优化方法（如NSGA-II、SMS-EMOA）在应用于ROCCH最大化时的局限性，原因在于ROCCH问题独特的几何与组合结构。
• 开发一种新型选择机制，优先扩展ROC空间中凸包的面积，而非仅优化Pareto支配关系。
• 通过在遗传编程框架中引入基于凸包的排序与基于面积的选择方案，提升ROCCH近似过程中的搜索效率与收敛性。

提出的方法

• 提出一种基于凸包的排序机制，根据解在ROC空间中对凸包面积扩展的贡献程度对解进行排序，替代传统的非支配排序。
• 引入一种基于面积的选种方案，采用$\nu$-plus-$\nu$环境选择策略，以保持多样性并促进向最优凸包的收敛。
• 采用多目标遗传编程框架，其中个体表示决策树或规则集，适应度通过ROC曲线生成与凸包计算进行评估。
• 使用单一指标——凸包下方面积——作为主要性能度量，引导进化过程向更优的ROCCH近似方向发展。
• 实现一种受超体积算法启发的自定义选择程序，但针对ROCCH最大化问题的几何约束进行了调整。
• 将该算法应用于22个UCI基准数据集，与NSGA-II、MOEA/D、SMS-EMOA、C4.5、朴素贝叶斯和PRIE进行性能比较。

实验结果

研究问题

• RQ1 是否一种针对凸包面积扩展进行优化的定制化指标选择方案，能在ROCCH最大化任务中超越经典多目标优化算法？
• RQ2 CH-MOGP在ROCCH近似质量与收敛速度方面，相较于传统EMOAs（NSGA-II、MOEA/D、SMS-EMOA）表现如何？
• RQ3 所提出的基于凸包的排序机制是否能在进化过程中保持多样性并避免冗余解的产生？
• RQ4 CH-MOGP在最大化ROCCH性能方面，相较于传统机器学习分类器（C4.5、朴素贝叶斯、PRIE）表现如何？
• RQ5 CH-MOGP的计算成本在多大程度上限制了其实际应用？是否可在不牺牲ROCCH质量的前提下降低其计算开销？

主要发现

• 在全部22个UCI数据集上，CH-MOGP在ROC凸包近似方面显著优于NSGA-II、MOEA/D和SMS-EMOA，表现为凸包下方面积更优，且对ROC空间左上区域的覆盖更全面。
• 所提出的基于凸包的排序与基于面积的选择方案能有效维持种群多样性，并在评估预算有限的情况下避免早熟收敛。
• CH-MOGP在ROCCH近似方面优于C4.5、朴素贝叶斯和PRIE，表明进化搜索在ROCCH最大化任务中相较贪婪或基于规则的方法具有明显优势。
• 尽管计算成本较高——在'skin'数据集上最高耗时达91,856.38秒——但其性能提升在ROCCH质量上完全值得这一代价。
• 在95%置信水平下进行的Wilcoxon signed-rank检验确认，CH-MOGP在基准测试集上的表现显著优于所有对比基线方法。
• 结果表明，ROCCH最大化并非标准的多目标问题，需依赖如CH-MOGP中所提出的专用选择机制，方能获得最优结果。