[论文解读] An Efficient Genetic Programming System with Geometric Semantic Operators and its Application to Human Oral Bioavailability Prediction

Mauro Castelli, Luca Manzoni+1 more|arXiv (Cornell University)|Aug 12, 2012

Evolutionary Algorithms and Applications参考文献 4被引用 5

一句话总结

该论文提出了一种新颖且高效的遗传编程系统，通过实现几何语义算子而避免指数级膨胀，从而能够实际利用其单峰适应度景观的特性。该系统在预测人类口服生物利用度方面达到最先进性能，优于标准遗传编程及多种机器学习方法，在测试数据上展现出优异的泛化能力。

ABSTRACT

Very recently new genetic operators, called geometric semantic operators, have been defined for genetic programming. Contrarily to standard genetic operators, which are uniquely based on the syntax of the individuals, these new operators are based on their semantics, meaning with it the set of input-output pairs on training data. Furthermore, these operators present the interesting property of inducing a unimodal fitness landscape for every problem that consists in finding a match between given input and output data (for instance regression and classification). Nevertheless, the current definition of these operators has a serious limitation: they impose an exponential growth in the size of the individuals in the population, so their use is impossible in practice. This paper is intended to overcome this limitation, presenting a new genetic programming system that implements geometric semantic operators in an extremely efficient way. To demonstrate the power of the proposed system, we use it to solve a complex real-life application in the field of pharmacokinetic: the prediction of the human oral bioavailability of potential new drugs. Besides the excellent performances on training data, which were expected because the fitness landscape is unimodal, we also report an excellent generalization ability of the proposed system, at least for the studied application. In fact, it outperforms standard genetic programming and a wide set of other well-known machine learning methods.

研究动机与目标

• 为克服现有几何语义算子导致个体规模指数级增长的问题，该问题使得这些算子在实际应用中不可行。
• 设计一种紧凑高效的几何语义算子实现方式，在保持语义等价性的同时避免膨胀。
• 在复杂的真实世界药代动力学问题——即预测新药的人类口服生物利用度——上评估所提出的系统。
• 与标准遗传编程及其他最先进机器学习方法相比，展示出更优的泛化性能。

提出的方法

• 系统仅存储初始随机种群以及一组用作几何语义操作构建块的辅助随机程序。
• 维护指向这些程序的动态指针表，从而在无需存储完整表达式的情况下高效构建后代。
• 通过在语义向量（输入-输出对）的向量空间上执行操作来实现几何语义交叉和变异，确保语义一致性。
• 该实现通过设计避免显式程序简化，依赖紧凑表示和指针管理来控制膨胀。
• 适应度评估在紧凑表示上进行，利用语义相似性和目标匹配度。
• 该系统应用于分子描述符数据集，用于预测人类口服生物利用度，性能通过测试集上的RMSE进行评估。

实验结果

研究问题

• RQ1 几何语义算子能否以避免程序规模指数级增长的方式实现，从而使其在实践中可用？
• RQ2 所提出的GP系统是否在确保计算效率的同时，保持了几何语义算子的单峰适应度景观特性？
• RQ3 在口服生物利用度预测任务中，所提出系统的泛化性能与标准遗传编程及其他最先进机器学习方法相比如何？
• RQ4 在GP本身具备自动特征选择能力的前提下，该系统是否能在无需显式特征选择的情况下实现高性能？

主要发现

• 所提出的GP系统通过仅存储初始程序和指针表，成功消除了指数级膨胀，使几何语义算子得以实际应用。
• 在30次运行中，系统在测试集上的中位RMSE为26.97，优于标准遗传编程及多种最先进方法。
• 即使未进行显式特征选择，系统的性能仍与采用相关性特征选择的方法相当或更优。
• 系统展现出强大的泛化能力，测试误差显著低于多种基线方法，包括SVM和多层感知机。
• 结果证实，当高效实现时，几何语义算子可在真实世界应用中实现优异的泛化性能。
• 该框架在复杂高维问题中具有广泛应用潜力，得益于其高效性和鲁棒性。