[論文レビュー] Exploring a New Competency Modeling Process with Large Language Models

Silin Du, Manqing Xin+1 more|arXiv (Cornell University)|Feb 13, 2026

Competency Development and Evaluation被引用数 0

ひとこと要約

この論文は、インタビューから行動的・心理的記述を抽出し、それを埋め込みを通じて能力ライブラリにマッピングし、適応的な重みを学習させ、データ収集を新たに行わずオフラインでモデルを評価することで、能力モデリングを再定義する。

ABSTRACT

Competency modeling is widely used in human resource management to select, develop, and evaluate talent. However, traditional expert-driven approaches rely heavily on manual analysis of large volumes of interview transcripts, making them costly and prone to randomness, ambiguity, and limited reproducibility. This study proposes a new competency modeling process built on large language models (LLMs). Instead of merely automating isolated steps, we reconstruct the workflow by decomposing expert practices into structured computational components. Specifically, we leverage LLMs to extract behavioral and psychological descriptions from raw textual data and map them to predefined competency libraries through embedding-based similarity. We further introduce a learnable parameter that adaptively integrates different information sources, enabling the model to determine the relative importance of behavioral and psychological signals. To address the long-standing challenge of validation, we develop an offline evaluation procedure that allows systematic model selection without requiring additional large-scale data collection. Empirical results from a real-world implementation in a software outsourcing company demonstrate strong predictive validity, cross-library consistency, and structural robustness. Overall, our framework transforms competency modeling from a largely qualitative and expert-dependent practice into a transparent, data-driven, and evaluable analytical process.

研究の動機と目的

• HRMにおける従来の専門家主導の方法を超える厳密でスケーラブルな能力モデリングプロセスの必要性を動機付ける。
• BEIからの行動的・心理的データを抽出・埋め込み・統合し、事前に定義された能力ライブラリへマッピングするLLMベースのワークフローCoLLMを提案する。
• 大規模データ収集を要さず、オフライン評価フレームワークを提供してモデル構成要素を選択しアプローチを検証する。
• ソフトウェア・アウトソーシング企業の実データで手法をデモンストレーションし、予測妥当性と頑健性を示す。

提案手法

• 従来のBEIワークフローを分解し、インコントキスト学習（ICL）を用いて面接セグメントから行動的・心理的記述を要約する。
• セグメントレベルの出力を、行動的・心理的記述の埋め込みへ変換し、能力ライブラリの記述の埋め込みへマッピングする。
• グループレベルで行動的と心理的スコアを適応的に結合する学習可能な重みalphaを導入し、トリプレット損失に触発された目的で最適化する。
• トレイン/テスト分割とSpearman順位相関（およびAUC）を用いて、主要な能力の数を選択し、オフラインで予測妥当性を評価するオフライン評価手順を定義する。
• トレーニングデータを用いて上位の主要能力を選択し、実際のパフォーマンスに対するランキングをSpearmanのrho（ビはラベルが二値の場合はAUC）で評価する。
• トリプレット損失を用いた確率的勾配降下法でアルファの重み付けパラメータを最適化し、同一グループ内の類似性を高め、グループ間の差を促進する。

実験結果

リサーチクエスチョン

• RQ1 CoLLMは対象ロールに対して一貫性があり解釈可能な能力モデルを生成できるか？
• RQ2 ロバストなパフォーマンス分離のための主要能力の最適数をどのように決定するか？
• RQ3 基礎となるLLMの変更や人間の専門家のコーディングと比較した場合、モデリングプロセスはどれだけ頑健か？
• RQ4 特定された主要能力は異なる能力ライブラリ間で一貫しているか？

主な発見

• CoLLMは行動的・心理的信号を統合することで解釈可能な能力スコアを生み出す。
• オフライン評価フレームワークにより、主要能力の数（Q）をデータに基づいて選択し、新規データ収集なしにモデル性能を検証できる。
• 提案手法は専門家の判断と整合し、報告対象の設定で異なるLLMや能力ライブラリにも適応できる。
• 40件のBEI（高パフォーマンス群と平均パフォーマンス群に分割）から得られた実証結果は、フレームワークの予測妥当性と頑健性を示す。
• 心理データと行動データの相対的重要性を捉える学習可能な重みalphaが、最適化されたalpha値（例: alpha = 12.23 の例）で示されるように、ターゲット文脈に適合する。
• 本研究で特定された7つの最も重要な能力は、試験対象グループの専門家分析と整合している。