[论文解读] JOBSKAPE: A Framework for Generating Synthetic Job Postings to Enhance Skill Matching

Antoine Magron, Anna Dai+3 more|arXiv (Cornell University)|Feb 5, 2024

Intelligent Tutoring Systems and Adaptive Learning被引用 2

一句话总结

本文提出 JOBSKAPE，一种利用大语言模型（LLMs）生成高质量合成职位招聘启事的框架，以提升技能匹配效果，通过 LLM 生成与 ESCO 分类法对齐的、语义连贯的多技能句子。由此产生的 SKILLSKAPE 数据集在文本质量方面优于以往的合成数据集，并支持一种上下文学习（in-context learning）流程，在真实世界基准测试中超越了监督基线模型，F1 得分为 27.3。

ABSTRACT

Recent approaches in skill matching, employing synthetic training data for classification or similarity model training, have shown promising results, reducing the need for time-consuming and expensive annotations. However, previous synthetic datasets have limitations, such as featuring only one skill per sentence and generally comprising short sentences. In this paper, we introduce JobSkape, a framework to generate synthetic data that tackles these limitations, specifically designed to enhance skill-to-taxonomy matching. Within this framework, we create SkillSkape, a comprehensive open-source synthetic dataset of job postings tailored for skill-matching tasks. We introduce several offline metrics that show that our dataset resembles real-world data. Additionally, we present a multi-step pipeline for skill extraction and matching tasks using large language models (LLMs), benchmarking against known supervised methodologies. We outline that the downstream evaluation results on real-world data can beat baselines, underscoring its efficacy and adaptability.

研究动机与目标

• 为解决标注真实世界职位招聘启事以进行技能匹配所耗费的高昂成本和时间问题。
• 克服现有合成数据集的局限性，例如单技能句子和低连贯性。
• 开发一种可扩展、可重用的框架，用于生成多样且逼真的多技能职位招聘启事。
• 在技能匹配任务中，将合成数据的表现与真实世界标注数据进行基准对比。
• 探索利用大语言模型进行上下文学习作为微调监督模型的替代方案的可行性。

提出的方法

• JOBSKAPE 使用 LLM 从预定义的分类法（如 ESCO）中生成包含多个语义连贯技能的职位招聘启事句子。
• 该框架通过 LLM 实施自洽性优化步骤，以提升生成数据的句子连贯性和标签质量。
• 设计了一个多步骤流程，利用大语言模型的上下文学习（ICL）从职位描述中提取并匹配技能。
• 该框架生成了 SKILLSKAPE，一个大规模开源的合成数据集，包含 8,000 个带有多技能标注的职位招聘启事。
• 使用困惑度（perplexity）和隐含性（implicitness）等离线指标评估合成数据的真实性与质量。
• 该方法将基于 SKILLSKAPE 的监督微调与真实世界基准上的 ICL 方法进行比较。

实验结果

研究问题

• RQ1 与现有合成数据集相比，包含多个连贯技能的合成职位招聘启事是否能提升技能匹配性能？
• RQ2 JOBSKAPE 生成的数据在连贯性和隐含技能表达方面，与真实世界数据及先前合成数据集相比，其文本质量如何？
• RQ3 基于 LLM 的上下文学习（ICL）流程是否能在真实世界技能匹配基准上超越监督微调方法？
• RQ4 在 JOBSKAPE 生成的合成数据上进行训练，是否能有效泛化到真实世界评估数据？
• RQ5 在保留的真实世界数据上评估时，ICL 方法的性能与监督基线相比如何？

主要发现

• SKILLSKAPE 数据集的文本质量高于以往的合成数据集，困惑度更低，隐含技能表达更充分。
• 对于较长的职位描述（超过 12 个词），SKILLSKAPE 的 F1 得分为 0.18，优于 DECORTE 数据集的 0.17。
• 上下文学习（ICL）流程在真实世界数据上的 F1 得分为 27.3，超过了在 SKILLSKAPE 上微调的监督基线模型（F1 为 26.1）。
• 在较短句子（少于 12 个词）上，微调后的监督模型略胜于 ICL 方法（F1 0.24 vs. 0.26），但差异极小。
• ICL 方法在真实世界数据上泛化良好，且无需重新训练，展现出强大的适应能力。
• 该框架可扩展至其他领域，如合成简历生成，用于技能差距分析和更公平的职位匹配。