[論文レビュー] JOBSKAPE: A Framework for Generating Synthetic Job Postings to Enhance Skill Matching

Antoine Magron, Anna Dai+3 more|arXiv (Cornell University)|Feb 5, 2024

Intelligent Tutoring Systems and Adaptive Learning被引用数 2

ひとこと要約

本稿では、大規模言語モデル（LLM）を用いてESCO分類法に整合した複数スキルを含む一貫性のある文を生成することで、スキルマッチングを改善するための、高品質な合成求人情報を生成するフレームワークJOBSKAPEを紹介する。得られたSKILLSKAPEデータセットは、テキスト品質において先行する合成データセットを上回り、実世界のベンチマークで教師ありベースラインを上回るイン・コンテキスト・ラーニング（ICL）パイプラインを可能にし、F1スコア27.3を達成した。

ABSTRACT

Recent approaches in skill matching, employing synthetic training data for classification or similarity model training, have shown promising results, reducing the need for time-consuming and expensive annotations. However, previous synthetic datasets have limitations, such as featuring only one skill per sentence and generally comprising short sentences. In this paper, we introduce JobSkape, a framework to generate synthetic data that tackles these limitations, specifically designed to enhance skill-to-taxonomy matching. Within this framework, we create SkillSkape, a comprehensive open-source synthetic dataset of job postings tailored for skill-matching tasks. We introduce several offline metrics that show that our dataset resembles real-world data. Additionally, we present a multi-step pipeline for skill extraction and matching tasks using large language models (LLMs), benchmarking against known supervised methodologies. We outline that the downstream evaluation results on real-world data can beat baselines, underscoring its efficacy and adaptability.

研究の動機と目的

• スキルマッチングのための実世界の求人情報をアノテートするためにかかる高コストかつ長時間の問題を解決すること。
• 従来の合成データセットに見られる単一スキル文や低整合性といった制限を克服すること。
• 複数のスキルを含む多様で現実的で、スケーラブルかつ再利用可能な求人情報の生成フレームワークを構築すること。
• 合成データの性能を、スキルマッチングタスクにおける実世界のアノテート済みデータと比較してベンチマークすること。
• 教師ありモデルの微調整に代わる、LLMを用いたイン・コンテキスト・ラーニングの実現可能性を検討すること。

提案手法

• JOBSKAPEは、LLMを用いて事前に定義された分類法（例：ESCO）に従った複数の意味的に整合性のあるスキルを含む求人情報文を生成する。
• 生成されたデータの文の整合性とラベル品質を向上させるために、LLMを用いた自己精錬ステップを適用する。
• 大規模言語モデルを用いたイン・コンテキスト・ラーニング（ICL）により、求人記述からスキルを抽出・マッチングするためのマルチステップパイプラインを設計する。
• 8,000件の求人情報を含み、複数スキルのアノテーションが付与された大規模オープンソース合成データセットSKILLSKAPEを生成する。
• 合成データの現実性と品質を評価するために、ペルフレクシティーやインプリシット性といったオフライン指標を用いる。
• SKILLSKAPEで微調整した教師あり学習と、実世界ベンチマークでICLベースのアプローチを比較する。

実験結果

リサーチクエスチョン

• RQ1 複数の整合性のあるスキルを含む合成求人情報は、既存の合成データセットと比較してスキルマッチング性能を向上させることができるか？
• RQ2 JOBSKAPEが生成するデータのテキスト品質は、実世界データおよび先行する合成データセットと比較して、整合性および隠れたスキル表現の観点でどのように異なるか？
• RQ3 LLMを用いたイン・コンテキスト・ラーニングパイプラインは、実世界のスキルマッチングベンチマークで教師あり微調整手法を上回ることができるか？
• RQ4 JOBSKAPEから得た合成データで学習したモデルは、実世界の評価データにうまく一般化できるか？
• RQ5 ホールドアウトされた実世界データで評価した場合、ICLベースの手法は教師ありベースラインと比較してどのように性能を発揮するか？

主な発見

• SKILLSKAPEデータセットは、先行する合成データセットよりも高いテキスト品質を示しており、ペルフレクシティが低く、隠れたスキル表現が顕著である。
• 12語を超える長い求人記述では、SKILLSKAPEはF1スコア0.18を達成し、DECORTEデータセットの0.17を上回った。
• イン・コンテキスト・ラーニング（ICL）パイプラインは、実世界データでF1スコア27.3を達成し、SKILLSKAPEで微調整した教師ありベースライン（F1 26.1）を上回った。
• 12語未塔の短い文では、SKILLSKAPEで微調整した教師ありモデルがICL手法をわずかに上回った（F1 0.24 vs. 0.26）が、差は最小限であった。
• ICLベースの手法は実世界データにうまく一般化でき、再トレーニングの必要がなく、優れた適応性を示した。
• このフレームワークは、スキルギャップ分析やより公平な求人マッチングを目的とした、合成CV生成など他の分野へも拡張可能である。