[논문 리뷰] Exploring a New Competency Modeling Process with Large Language Models

Silin Du, Manqing Xin외 1명|arXiv (Cornell University)|2026. 02. 13.

Competency Development and Evaluation인용 수 0

한 줄 요약

이 논문은 인터뷰에서 행동적 및 심리적 기술 묘사를 추출하고, 임베딩을 통해 역량 라이브러리와 매핑하며, 적응 가중치를 학습하고, 새로운 데이터 수집 없이 오프라인으로 모델을 평가하는 방식으로 역량 모델링을 재구성한다.

ABSTRACT

Competency modeling is widely used in human resource management to select, develop, and evaluate talent. However, traditional expert-driven approaches rely heavily on manual analysis of large volumes of interview transcripts, making them costly and prone to randomness, ambiguity, and limited reproducibility. This study proposes a new competency modeling process built on large language models (LLMs). Instead of merely automating isolated steps, we reconstruct the workflow by decomposing expert practices into structured computational components. Specifically, we leverage LLMs to extract behavioral and psychological descriptions from raw textual data and map them to predefined competency libraries through embedding-based similarity. We further introduce a learnable parameter that adaptively integrates different information sources, enabling the model to determine the relative importance of behavioral and psychological signals. To address the long-standing challenge of validation, we develop an offline evaluation procedure that allows systematic model selection without requiring additional large-scale data collection. Empirical results from a real-world implementation in a software outsourcing company demonstrate strong predictive validity, cross-library consistency, and structural robustness. Overall, our framework transforms competency modeling from a largely qualitative and expert-dependent practice into a transparent, data-driven, and evaluable analytical process.

연구 동기 및 목표

• 전통적인 전문가 주도 방법을 넘어 인사관리(HRM)에서 엄격하고 확장 가능한 역량 모델링 과정의 필요성을 동기 부여한다.
• BEI에서 행동 및 심리 데이터를 추출하고 임베딩하며 미리 정의된 역량 라이브러리에 통합하는 LLM 기반 워크플로우인 CoLLM을 제안한다.
• 대규모 데이터 수집 없이 모델 구성요소를 선택하고 접근법을 검증하기 위한 오프라인 평가 프레임워크를 제공한다.
• 소프트웨어 외주 회사의 실제 데이터를 사용하여 방법을 시연하고 예측 타당성과 강건성을 보여준다.

제안 방법

• 전통적인 BEI 워크플로우를 분해하고 LLM과 함께 인-컨텍스트 학습(ICL)을 사용하여 면담 구간에서의 행동적 및 심리적 묘사를 요약한다.
• 세그먼트 수준의 출력을 행동적 및 심리적 묘사의 임베딩으로 변환하고 이를 역량 라이브러리 설명의 임베딩과 매핑한다.
• 트립렛 손실에서 영감을 받은 목표를 통해 그룹 수준에서 행동 점수와 심리 점수를 적응적으로 결합하기 위한 학습 가능한 가중치 alpha를 도입한다.
• 학습/테스트 분할과 Spearman 순위 상관계수(및 AUC를) 사용하여 핵심 역량의 수를 선택하고 예측 타당성을 평가하는 오프라인 평가 절차를 정의한다.
• 그룹 내 유사성과 그룹 간 차이를 촉진하는 트립렛 손실을 사용하여 확률적 경사하강법으로 가중치 매개변수 alpha를 최적화한다.
• 훈련 데이터를 기반으로 상위 핵심 역량을 선택하고 실제 성과에 대한 순위를 Spearman의 rho(이진 레이블 사용 시 AUC 포함)로 평가하는 오프라인 평가를 적용한다.

실험 결과

연구 질문

• RQ1 CoLLM이 목표 역할에 대해 일관되고 해석 가능한 역량 모델을 생성할 수 있는가?
• RQ2 강건한 성능 구분을 위한 최적의 핵심 역량 수를 어떻게 결정할 것인가?
• RQ3 기저 LLM의 변화나 인간 전문가 코딩과 비교할 때 모델링 과정의 견고성은 어느 정도인가?
• RQ4 식별된 핵심 역량이 서로 다른 역량 라이브러리 간에 일관되는가?

주요 결과

• CoLLM은 행동적 및 심리적 신호를 통합하여 해석 가능한 역량 점수를 도출한다.
• 오프라인 평가 프레임워크는 데이터 수집 없이 핵심 역량 수(Q)를 데이터 기반으로 선택하고 모델 성능을 검증할 수 있게 한다.
• 본 접근법은 전문가 판단과의 정합성을 보이고 보고된 설정에서 다양한 LLM 및 역량 라이브러리에 적응할 수 있다.
• 고성능 그룹과 평균 성능 그룹으로 나눈 40개의 BEI에서의 실증 결과가 프레임워크의 예측 타당성과 강건성을 보여준다.
• 목표 맥락에서 심리 데이터와 행동 데이터의 상대적 중요성을 포착하는 학습 가능한 가중치 alpha는 최적화된 alpha 값으로 입증되며(예: 예시에서 alpha = 12.23).
• 본 연구에서 식별된 7가지 핵심 역량은 시험된 그룹에 대한 전문가 분석과 일치한다.