[論文レビュー] A Reinforcement Learning-assisted Genetic Programming Algorithm for Team Formation Problem Considering Person-Job Matching

Yangyang Guo, Hao Wang+4 more|arXiv (Cornell University)|Apr 8, 2023

Metaheuristic Optimization Algorithms Research被引用数 4

ひとこと要約

本稿では、人間-仕事マッチング（TFP-PJM）問題を解くために、強化学習（RL）を支援とする遺伝的プログラミング（RL-GP）アルゴリズムを提案する。マッチングスコアには intuitionistic fuzzy numbers を統合し、RL を用いて探索と開拓のバランスを取るために4つの集団探索モードから動的に選択する。この手法は、ベースラインのGP、ヒューリスティック、メタヒューリスティックアルゴリズムと比較して、学習時間を最大10倍速くし、優れたチーム効率を達成する。

ABSTRACT

An efficient team is essential for the company to successfully complete new projects. To solve the team formation problem considering person-job matching (TFP-PJM), a 0-1 integer programming model is constructed, which considers both person-job matching and team members' willingness to communicate on team efficiency, with the person-job matching score calculated using intuitionistic fuzzy numbers. Then, a reinforcement learning-assisted genetic programming algorithm (RL-GP) is proposed to enhance the quality of solutions. The RL-GP adopts the ensemble population strategies. Before the population evolution at each generation, the agent selects one from four population search modes according to the information obtained, thus realizing a sound balance of exploration and exploitation. In addition, surrogate models are used in the algorithm to evaluate the formation plans generated by individuals, which speeds up the algorithm learning process. Afterward, a series of comparison experiments are conducted to verify the overall performance of RL-GP and the effectiveness of the improved strategies within the algorithm. The hyper-heuristic rules obtained through efficient learning can be utilized as decision-making aids when forming project teams. This study reveals the advantages of reinforcement learning methods, ensemble strategies, and the surrogate model applied to the GP framework. The diversity and intelligent selection of search patterns along with fast adaptation evaluation, are distinct features that enable RL-GP to be deployed in real-world enterprise environments.

研究の動機と目的

• 人間-仕事マッチングとコミュニケーション意欲を統合することで、高効率なプロジェクトチームの構築に取り組む。
• TFP-PJM 問題における従来のメタヒューリスティクスの探索効率の低さとパラメータ感受性の限界を克服する。
• 強化学習を用いて探索戦略を知的に適応するハイパーヒューリスティックGPフレームワークを構築する。
• アンサンブル集団戦略とサーロンモデルベースの評価を通じて、解の品質と収束速度を向上させる。
• 学習された汎用性のあるルールを用いて、実世界の企業環境におけるチーム編成意思決定支援ヒューリスティクスを提供する。

提案手法

• 人間-仕事マッチングスコアを定量化するために、intuitionistic fuzzy numbers を用いた 0-1 整数プログラミングモデルとして TFP-PJM を定式化する。
• 強化学習エージェントが状態情報に基づき、4つの集団探索モード（例：探索、開拓）のうち1つを選択する RL-GP アルゴリズムを設計する。
• RL エージェントが世代を跨いで探索と開拓のバランスを動的に調整するアンサンブル集団戦略を実装する。
• K-Nearest Neighbor（K-NN）サーロンモデルを統合し、完全な計算を伴わずにチーム効率を予測することで、フィットネス評価を高速化する。
• 進化の過程でサーロンモデルをオンラインで更新し、予測精度を向上させ、探索をより効果的に導く。
• 低レベルのルールを統合して高レベルのヒューリスティクスを生成する GP 個体を進化させる。構造の複雑さは問題規模に応じて適応的に変化する。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、チーム編成の遺伝的プログラミングフレームワークにおいて、探索モードの選択を効果的にガイドできるか？
• RQ2 サーロンモデルの統合は、TFP-PJM を解く際の収束速度と解の品質にどのように影響するか？
• RQ3 アンサンブル集団戦略は、GP を用いたチーム編成における探索と開拓のバランスをどの程度向上させるか？
• RQ4 学習されたヒューリスティクスルールは、異なるチーム規模やスキル対ポジション比にどの程度一般化できるか？
• RQ5 RL-GP アルゴリズムは、解の品質と計算効率の両面で、従来のGP、遺伝的アルゴリズム、可変近傍探索（VNS）を上回ることができるか？

主な発見

• RL-GP アルゴリズムは、他のGP手法に比べて学習時間を 1/5 から 1/10 まで短縮し、ルール発見プロセスを顕著に高速化する。
• RL-GP が生成するヒューリスティクスは、構築されたヒューリスティクスおよび遺伝的アルゴリズムや可変近傍探索（VNS）などのベースラインメタヒューリスティクスを上回る高いチーム効率を達成する。
• 100人および200人のチーム規模の両方で、アルゴリズムは頑健な性能を示し、優れたヒューリスティクスは構造的類似性を示しており、安定した学習行動を示している。
• サーロンモデルは評価を効率的に高速化し、解の品質を損なわせることなく、より速い適応と改善された収束を可能にする。
• 中程度の深さのヒューリスティクスはより良い一般化性能を示すが、より深いヒューリスティクスは特定のインスタンスでは優れた性能を発揮するが、広範な適用性に欠ける。
• RL エージェントは、問題インスタンスを跨いで類似した探索パターンを好むよう学習しており、状態情報に基づく一貫した戦略選択がなされていることが示された。