[论文解读] Large Language Models as Batteries-Included Zero-Shot ESCO Skills Matchers

Benjamin Clavié, Guillaume Soulié|arXiv (Cornell University)|Jul 7, 2023

Topic Modeling被引用 6

一句话总结

本文提出了一种零样本、端到端的流水线，用于使用大型语言模型（LLMs）将职位描述中的技能匹配到ESCO分类法。该方法通过大型语言模型生成了13,890个ESCO技能的合成训练数据，并采用两阶段方法：首先通过嵌入向量进行候选检索，然后使用GPT-4进行重排序，相较于先前方法在RP@10上提升了22个以上分数，且无需人工标注。

ABSTRACT

Understanding labour market dynamics requires accurately identifying the skills required for and possessed by the workforce. Automation techniques are increasingly being developed to support this effort. However, automatically extracting skills from job postings is challenging due to the vast number of existing skills. The ESCO (European Skills, Competences, Qualifications and Occupations) framework provides a useful reference, listing over 13,000 individual skills. However, skills extraction remains difficult and accurately matching job posts to the ESCO taxonomy is an open problem. In this work, we propose an end-to-end zero-shot system for skills extraction from job descriptions based on large language models (LLMs). We generate synthetic training data for the entirety of ESCO skills and train a classifier to extract skill mentions from job posts. We also employ a similarity retriever to generate skill candidates which are then re-ranked using a second LLM. Using synthetic data achieves an RP@10 score 10 points higher than previous distant supervision approaches. Adding GPT-4 re-ranking improves RP@10 by over 22 points over previous methods. We also show that Framing the task as mock programming when prompting the LLM can lead to better performance than natural language prompts, especially with weaker LLMs. We demonstrate the potential of integrating large language models at both ends of skills matching pipelines. Our approach requires no human annotations and achieve extremely promising results on skills extraction against ESCO.

研究动机与目标

• 解决在包含超过13,000个技能的大型、细粒度ESCO分类法上进行零样本技能匹配的挑战。
• 通过利用LLM生成的合成数据提升候选生成质量，避免对昂贵的人工标注数据集的依赖。
• 评估LLM作为两阶段技能匹配流水线最终阶段的零样本重排序器的有效性。
• 探究将重排序任务表述为模拟编程问题是否能提升性能，尤其是在使用能力较弱的LLM时。
• 证明LLM可作为合成数据生成器和高性能重排序器，在可扩展、开箱即用的流水线中发挥作用。

提出的方法

• 通过提示GPT-3.5生成包含全部13,890个ESCO技能的多样化、真实的职位描述，以生成合成训练数据。
• 使用密集检索模型（e5）基于语义相似度从职位发布中生成初始候选技能匹配。
• 在合成数据上训练线性分类器，以预测职位文本中可能提及的技能。
• GPT-4通过基于提示的指令评估相关性，对候选列表进行零样本重排序。
• 将重排序任务表述为模拟编程问题（例如，“返回一个匹配技能的列表”），以提升推理能力和指令遵循能力，尤其对能力较弱的模型有效。
• 该流水线结合了合成数据训练、基于嵌入的检索以及LLM驱动的重排序，形成一个端到端、零样本的设置。

Figure 1: High-level overview of the full process.

实验结果

研究问题

• RQ1 LLM能否生成高质量的合成训练数据，从而显著提升在ESCO分类法上的零样本技能匹配性能？
• RQ2 采用两阶段流水线（候选生成后接LLM重排序）是否优于单阶段方法？
• RQ3 将重排序任务表述为模拟编程问题是否能提升性能，特别是对能力较弱的LLM？
• RQ4 与先前的远程监督和弱监督方法相比，该流水线在RP@10上的表现如何？
• RQ5 使用GPT-4作为零样本重排序器在整体性能提升中起到了多大作用？

主要发现

• 使用GPT-3.5生成的合成数据使RP@10得分相比先前的远程监督方法提升了10分。
• 在先前最先进方法的基础上，增加GPT-4作为零样本重排序器，使RP@10得分提升超过22分。
• 将重排序任务表述为模拟编程问题能带来显著的性能提升，尤其在使用能力较弱的LLM时更为明显。
• 该方法在无需任何人工标注数据的情况下实现了优异性能，完全依赖合成数据和零样本LLM能力。
• 两阶段流水线——通过分类器和检索进行候选生成，随后进行LLM重排序——在低资源设置下的极端多标签分类任务中表现出极高有效性。
• 该方法具有可扩展性和泛化能力，具有集成到端到端职位推荐系统中的潜力。