[论文解读] Determination of weight coefficients for additive fitness function of genetic algorithm

V. K. Ivanov, V. K. Ivanov+1 more|arXiv (Cornell University)|Mar 27, 2021

Data Mining Algorithms and Applications参考文献 8被引用 5

一句话总结

本文提出了一种分析方法，用于在信息检索的查询优化中，确定遗传算法（GA）的加法适应度函数的最优权重系数。通过利用种群中所有查询的聚合结果，该方法通过实现种群的持续改进和可靠检测适应度函数的局部与全局最大值，提升了GA的性能，优于其他权重计算方法。

ABSTRACT

The paper presents a solution for the problem of choosing a method for analytical determining of weight factors for a genetic algorithm additive fitness function. This algorithm is the basis for an evolutionary process, which forms a stable and effective query population in a search engine to obtain highly relevant results. The paper gives a formal description of an algorithm fitness function, which is a weighted sum of three heterogeneous criteria. The selected methods for analytical determining of weight factors are described in detail. It is noted that expert assessment methods are impossible to use. The authors present a research methodology using the experimental results from earlier in the discussed project "Data Warehouse Support on the Base Intellectual Web Crawler and Evolutionary Model for Target Information Selection". There is a description of an initial dataset with data ranges for calculating weights. The calculation order is illustrated by examples. The research results in graphical form demonstrate the fitness function behavior during the genetic algorithm operation using various weighting options.

研究动机与目标

• 解决在遗传算法用于查询优化时，为加法适应度函数选择合适权重系数的挑战。
• 开发一种无需依赖专家评估的分析性权重确定方法。
• 提高遗传算法在生成高相关性搜索查询时的效率和收敛性。
• 评估并比较不同权重系数计算方法对适应度函数行为的影响。

提出的方法

• 适应度函数被表述为三个异质标准的加权和：排名位置（g）、结果通用性（p）和语义相似度（s），权重分别为wg、wp和ws。
• 权重通过种群中所有查询的数据进行分析计算，基于整个数据集中g、p和s值的归一化范围。
• 归一化使用最小-最大缩放：g = (g - g_min)/(g_max - g_min)，p = (p - p_min)/(p_max - p_min)，s使用文档与查询向量之间的余弦相似度。
• 该方法避免了专家评估，而是利用查询执行结果的实证数据推导系数。
• 通过遗传算法的实验运行验证该方法，监控多个种群和世代中适应度函数的行为。
• 采用图形化可视化方法，对不同权重设置策略下的适应度函数值进行对比分析。

实验结果

研究问题

• RQ1 在遗传算法的多准则适应度函数中，分析性确定权重系数的最有效方法是什么？
• RQ2 利用种群聚合数据进行权重计算，如何影响遗传算法的收敛性和稳定性？
• RQ3 所提出的方法能否可靠检测适应度函数中的局部和全局最大值，表明优化有效？
• RQ4 与替代权重计算技术相比，该方法在种群改进和适应度函数行为方面表现如何？

主要发现

• 使用种群中所有查询结果计算权重系数的方法，使查询种群适应度实现了最一致且持续的提升。
• 该方法能够检测适应度函数中的局部和全局最大值，表明实现了有效的收敛和稳定的优化。
• 相比之下，其他权重计算方法未能产生一致的种群改进，或无法检测到清晰的极值。
• 利用聚合数据推导系数可提高快速检测局部极值的概率，这些极值可能代表最优解。
• 所提出的方法通过提高识别高相关性搜索查询的可能性，整体提升了遗传算法的质量。
• 图形化结果证实，使用该方法时，适应度函数值在更高水平上趋于稳定，表现出更优性能。