[论文解读] A Reinforcement Learning-assisted Genetic Programming Algorithm for Team Formation Problem Considering Person-Job Matching

Yangyang Guo, Hao Wang+4 more|arXiv (Cornell University)|Apr 8, 2023

Metaheuristic Optimization Algorithms Research被引用 4

一句话总结

本文提出一种强化学习辅助的遗传编程（RL-GP）算法，用于解决人员-岗位匹配（TFP-PJM）的团队组建问题，采用双层模糊数表示匹配得分，并利用强化学习动态从四种种群搜索模式中选择，以平衡探索与利用。该方法相比基线GP、启发式及元启发式算法，学习时间最快可缩短至1/10，团队效率更优。

ABSTRACT

An efficient team is essential for the company to successfully complete new projects. To solve the team formation problem considering person-job matching (TFP-PJM), a 0-1 integer programming model is constructed, which considers both person-job matching and team members' willingness to communicate on team efficiency, with the person-job matching score calculated using intuitionistic fuzzy numbers. Then, a reinforcement learning-assisted genetic programming algorithm (RL-GP) is proposed to enhance the quality of solutions. The RL-GP adopts the ensemble population strategies. Before the population evolution at each generation, the agent selects one from four population search modes according to the information obtained, thus realizing a sound balance of exploration and exploitation. In addition, surrogate models are used in the algorithm to evaluate the formation plans generated by individuals, which speeds up the algorithm learning process. Afterward, a series of comparison experiments are conducted to verify the overall performance of RL-GP and the effectiveness of the improved strategies within the algorithm. The hyper-heuristic rules obtained through efficient learning can be utilized as decision-making aids when forming project teams. This study reveals the advantages of reinforcement learning methods, ensemble strategies, and the surrogate model applied to the GP framework. The diversity and intelligent selection of search patterns along with fast adaptation evaluation, are distinct features that enable RL-GP to be deployed in real-world enterprise environments.

研究动机与目标

• 通过整合人员-岗位匹配与沟通意愿，解决高效项目团队组建的挑战。
• 克服传统元启发式方法在TFP-PJM问题中搜索效率低和参数敏感的局限性。
• 开发一种超启发式GP框架，利用强化学习智能地自适应调整搜索策略。
• 通过集成种群策略与基于代理模型的评估，提升解的质量与收敛速度。
• 为实际企业环境中的团队组建提供决策支持启发式规则，基于学习到的可泛化规则。

提出的方法

• 将TFP-PJM建模为0-1整数规划模型，采用双层模糊数量化人员-岗位匹配得分。
• 设计一种RL-GP算法，利用强化学习智能体根据状态信息从四种种群搜索模式（如探索、利用）中选择一种。
• 实施集成种群策略，使RL智能体在代际间动态平衡探索与利用。
• 集成K-最近邻（K-NN）代理模型，通过预测团队效率而非完整计算来加速适应度评估。
• 在进化过程中在线更新代理模型，以提高预测准确性并更有效地引导搜索。
• 演化GP个体，将低层次规则组合为高层次团队组建启发式规则，其结构复杂度随问题规模自适应调整。

实验结果

研究问题

• RQ1 强化学习能否有效指导遗传编程框架中搜索模式的选择，以实现团队组建？
• RQ2 代理模型的集成如何影响求解TFP-PJM问题的收敛速度与解的质量？
• RQ3 集成种群策略在GP驱动的团队组建中，对探索与利用之间平衡的增强程度如何？
• RQ4 所学习的启发式规则在不同团队规模与技能-岗位比例下，其泛化能力如何？
• RQ5 RL-GP算法在解的质量与计算效率方面，是否优于传统GP、遗传算法与可变邻域搜索？

主要发现

• RL-GP算法将学习时间缩短至其他GP方法所需时间的1/5至1/10，显著加速了规则发现过程。
• RL-GP生成的启发式规则在团队效率方面优于人工构建的启发式规则及基线元启发式算法（如遗传算法与可变邻域搜索）。
• 该算法在不同团队规模（100人与200人）下均表现稳健，性能优异的启发式规则显示出结构相似性，表明学习行为稳定。
• 代理模型有效加速了评估过程，实现了更快的适应与改进的收敛性，且未牺牲解的质量。
• 中等深度的启发式规则表现出更好的泛化能力，而更深层次的启发式规则在特定实例上表现优异但缺乏广泛适用性。
• RL智能体学习到在不同问题实例中偏好相似的搜索模式，表明其基于状态信息实现了稳定的策略选择。