[論文レビュー] Career Path Prediction using Resume Representation Learning and Skill-based Matching

Jens-Joris Decorte, Jeroen Van Hautte+3 more|arXiv (Cornell University)|Oct 24, 2023

Artificial Intelligence in Healthcare被引用数 4

ひとこと要約

本稿では、履歴書のテキストを用いた表現学習モデルであるCareerBERTを提案し、非構造化された職務経験記述を活用してキャリアパスを予測する。スキルベースのマッチングとテキストベースの予測を統合したハイブリッドモデルにより、2,164件の匿名化されたキャリア履歴で構成される新規データセットにおいて43.01%のrecall@10を達成し、個々のアプローチを上回る性能を発揮した。

ABSTRACT

The impact of person-job fit on job satisfaction and performance is widely acknowledged, which highlights the importance of providing workers with next steps at the right time in their career. This task of predicting the next step in a career is known as career path prediction, and has diverse applications such as turnover prevention and internal job mobility. Existing methods to career path prediction rely on large amounts of private career history data to model the interactions between job titles and companies. We propose leveraging the unexplored textual descriptions that are part of work experience sections in resumes. We introduce a structured dataset of 2,164 anonymized career histories, annotated with ESCO occupation labels. Based on this dataset, we present a novel representation learning approach, CareerBERT, specifically designed for work history data. We develop a skill-based model and a text-based model for career path prediction, which achieve 35.24% and 39.61% recall@10 respectively on our dataset. Finally, we show that both approaches are complementary as a hybrid approach achieves the strongest result with 43.01% recall@10.

研究の動機と目的

• キャリアパス予測のためのオープンで公開可能なデータセットが不足している問題に対処するため、ESCO職業ラベルが付与された2,164件の匿名化キャリア履歴で構成されるデータセットを構築・公開すること。
• 職務経験テキストに特化したドメイン特化型表現学習モデル、CareerBERTを開発し、キャリアパス予測の性能を向上させること。
• 履歴書に記載された自由記述テキストが、従来のタイトルベースや会社ベースの方法を超えてキャリアパス予測に寄与するかどうかを検証すること。
• スキルベースとテキストベースの予測モデルの相乗効果が、性能向上に寄与するかどうかを評価すること。
• テキスト表現と構造化されたスキルオントロジー情報を統合することで、単一モダリティを用いる場合よりも優れた予測性能が得られることを示すこと。

提案手法

• 著者らは、履歴書から抽出した2,164件の匿名化キャリア履歴データセットを構築し、キャリアパス予測を可能にするためにESCO職業ラベルを付与した。
• 職務経験記述のコンテキスト表現を学習するため、ワークエクスペリエンス記述に特化して微調整されたBERTベースのモデル、CareerBERTを導入した。
• CareerBERTの3つのバリエーション（LAST：最終経験のみ、FULL：全経験、ALL：全経験と完全なシーケンスモデリング）を、線形プロジェクションヘッドの有無を含めて評価した。
• ESCOオントロジーのマッピングを用いて、現在のスキルを将来の職務要件にマッチングさせるスキルベースの予測モデルを実装した。
• 可学習重みαを用いてテキストベースとスキルベースの予測を統合するハイブリッド予測モデルを開発し、バリデーションセット上でグリッドサーチにより最適化した。
• 最終的なモデルではα = 0.8を採用し、テキスト信号とスキル信号のバランスを最適化してテストセットでの性能を最大化した。

実験結果

リサーチクエスチョン

• RQ1 履歴書の非構造化テキスト記述は、従来のタイトルベースや会社ベースの方法を超えてキャリアパス予測を改善できるか？
• RQ2 CareerBERTのようなドメイン特化型表現モデルは、自由記述の職務経験記述からキャリア経路のパターンをどれほど的確に捉えることができるか？
• RQ3 スキルベースとテキストベースの予測モデルは、キャリアパス予測においてどの程度相乗効果を発揮するか？
• RQ4 テキスト表現と構造化されたスキルオントロジー情報を統合することで、単一モダリティを用いる場合よりも優れた性能が得られるか？
• RQ5 キャリアパス予測において、テキストベースとスキルベースの予測を統合する最適な融合戦略は何か？

主な発見

• テキストベースとスキルベースの予測を統合したハイブリッドモデルが最も高い性能を示し、43.01%のrecall@10を達成した。
• 線形プロジェクションを用いたCareerBERT-ALLを用いたテキストベースのモデルは39.61%のrecall@10を達成し、履歴書テキストからの強力なコンテキスト表現の価値を示した。
• スキルベースのモデル単体では35.24%のrecall@10を達成し、スキルマッチングのみでも強力なベースラインを提供することが示された。
• 逆履歴ベースのベースラインでは26.49%のrecall@10にとどまり、より洗練されたモデリングの必要性が浮き彫りになった。
• 線形プロジェクションヘッドはほとんどのケースで性能を向上させ、特にα = 0.8を用いたハイブリッドモデルで最も優れた結果が得られた。
• 全経験をシーケンスとして扱うCareerBERT-ALLは、他のCareerBERTバリエーションを上回り、完全なシーケンスモデリングの有効性を確認した。