[论文解读] An improved chromosome formulation for genetic algorithms applied to variable selection with the inclusion of interaction terms

Chee Chun Gan, Gerard P. Learmonth|arXiv (Cornell University)|Apr 22, 2016

Metaheuristic Optimization Algorithms Research参考文献 3被引用 4

一句话总结

本文提出了一种用于变量选择的索引染色体公式化方法，通过在包含交互项时提升可扩展性和稀疏性，改进了遗传算法的性能。通过使用索引而非二进制向量来表示变量和交互项，该方法减少了计算开销，并在具有复杂预测变量空间的高维数据集上表现出更强的性能。

ABSTRACT

Genetic algorithms are a well-known method for tackling the problem of variable selection. As they are non-parametric and can use a large variety of fitness functions, they are well-suited as a variable selection wrapper that can be applied to many different models. In almost all cases, the chromosome formulation used in these genetic algorithms consists of a binary vector of length n for n potential variables indicating the presence or absence of the corresponding variables. While the aforementioned chromosome formulation has exhibited good performance for relatively small n, there are potential problems when the size of n grows very large, especially when interaction terms are considered. We introduce a modification to the standard chromosome formulation that allows for better scalability and model sparsity when interaction terms are included in the predictor search space. Experimental results show that the indexed chromosome formulation demonstrates improved computational efficiency and sparsity on high-dimensional datasets with interaction terms compared to the standard chromosome formulation.

研究动机与目标

• 解决标准二进制染色体公式化在处理高维数据和交互项时的可扩展性限制。
• 降低计算复杂度，并在涉及交互效应的变量选择任务中提升模型稀疏性。
• 开发一种染色体表示方法，高效编码主效应和交互项，同时避免搜索空间膨胀。
• 提升基于遗传算法的包装方法在高维特征空间中的性能。

提出的方法

• 提出一种索引染色体公式化方法，其中每个基因通过其索引表示一个变量或交互项，而非二进制的开启/关闭标志。
• 通过紧凑的基于索引的表示，将搜索空间映射为同时包含主效应和成对交互项的形式。
• 设计一种解码机制，将索引染色体映射为用于适应度评估的活跃预测变量集合。
• 在索引表示上使用标准遗传算法算子（选择、交叉、变异）以进化解决方案。
• 确保与任意适应度函数的兼容性，从而可应用于线性回归或分类算法等多种模型。
• 在包含交互项的高维数据集上验证该公式的可扩展性和稀疏性。

实验结果

研究问题

• RQ1 在包含交互项的高维数据集上，索引染色体公式化与标准二进制公式化相比，在计算效率方面表现如何？
• RQ2 当预测变量空间中包含交互项时，新公式化在模型稀疏性方面改善程度如何？
• RQ3 该索引表示能否在降低搜索空间复杂度的同时维持或提升解的质量？
• RQ4 随着潜在变量和交互项数量的增加，该公式化是否能有效扩展？
• RQ5 在新的染色体编码下，遗传算法在不同适应度函数下的性能表现如何？

主要发现

• 在包含交互项的高维数据集上，索引染色体公式化相比标准二进制公式化表现出更优的计算效率。
• 该方法实现了更好的模型稀疏性，在不牺牲预测性能的前提下减少了所选变量和交互项的数量。
• 随着潜在变量和交互项数量的增加，该公式化表现出良好的可扩展性，保持了稳定的收敛性。
• 实验结果表明，运行时间减少，收敛速度提升，尤其在数据集维度增加时更为显著。
• 该方法与多种适应度函数保持兼容，使其在不同建模任务中具有广泛适用性。