[论文解读] Exploring a New Competency Modeling Process with Large Language Models

Silin Du, Manqing Xin+1 more|arXiv (Cornell University)|Feb 13, 2026

Competency Development and Evaluation被引用 0

一句话总结

本论文通过使用大型语言模型（LLMs）从访谈中提取行为与心理描述，并映射到能力库通过嵌入、学习自适应权重、并在离线无新数据收集的情况下评估模型，重新构建能力建模。

ABSTRACT

Competency modeling is widely used in human resource management to select, develop, and evaluate talent. However, traditional expert-driven approaches rely heavily on manual analysis of large volumes of interview transcripts, making them costly and prone to randomness, ambiguity, and limited reproducibility. This study proposes a new competency modeling process built on large language models (LLMs). Instead of merely automating isolated steps, we reconstruct the workflow by decomposing expert practices into structured computational components. Specifically, we leverage LLMs to extract behavioral and psychological descriptions from raw textual data and map them to predefined competency libraries through embedding-based similarity. We further introduce a learnable parameter that adaptively integrates different information sources, enabling the model to determine the relative importance of behavioral and psychological signals. To address the long-standing challenge of validation, we develop an offline evaluation procedure that allows systematic model selection without requiring additional large-scale data collection. Empirical results from a real-world implementation in a software outsourcing company demonstrate strong predictive validity, cross-library consistency, and structural robustness. Overall, our framework transforms competency modeling from a largely qualitative and expert-dependent practice into a transparent, data-driven, and evaluable analytical process.

研究动机与目标

• 需要在HRM中建立一个比传统专家驱动方法更严格、可扩展的能力建模过程的动机。
• 提出CoLLM，一种基于LLM的工作流，用以从BEIs中提取、嵌入并将行为与心理数据整合到预定义的能力库中。
• 提供一个离线评估框架，在不进行大规模数据收集的前提下选择模型组件并验证方法。
• 用来自一家软件外包公司的真实数据演示该方法，以展示预测效度和鲁棒性。

提出的方法

• 分解传统BEI工作流，使用带上下文学习（ICL）的LLM对访谈片段中的行为与心理描述进行摘要。
• 将片段级输出转化为行为与心理描述的嵌入，并将它们映射到能力库描述的嵌入。
• 引入一个可学习权重alpha，通过目标函数（受三元组损失启发）在组层面对行为与心理分数进行自适应加权。
• 定义一个离线评估程序，使用训练/测试分割和Spearman等级相关（以及AUC）来选择关键能力数量并评估预测效度。
• 使用带有随机梯度下降的三元组损失来优化权重参数alpha，鼓励组内相似性和组间差异。
• 应用离线评估，根据训练数据选取前若干关键能力，并用Spearman相关系数（在使用二元标签时也可使用AUC）来评估与实际绩效的排序相关性。

实验结果

研究问题

• RQ1 CoLLM是否能够为目标角色产出一个连贯且可解释的能力模型？
• RQ2 为了实现对Robust performance分离，应确定多少关键能力才最优？
• RQ3 在基础LLM变更或与人工专家编码比较时，该建模过程的鲁棒性如何？
• RQ4 所识别的关键能力在不同能力库之间是否一致？

主要发现

• CoLLM通过整合行为与心理信号，得到可解释的能力分数。
• 离线评估框架使数据驱动地选择关键能力数量（Q），并在不需要新数据收集的情况下验证模型表现。
• 在所报告的设置中，该方法与专家判断对齐，且可适应不同LLM和能力库。
• 来自40个BEIs（分为高绩效组和中等绩效组）的实证结果显示框架的预测效度和鲁棒性。
• 可学习权重alpha捕捉心理数据相对于行为数据在目标情境中的相对重要性，如示例中的优化alpha值（例如，alpha = 12.23）。
• 研究中识别的七项最关键能力与所测试组的专家分析一致。