[论文解读] Design of Negative Sampling Strategies for Distantly Supervised Skill Extraction

Jens-Joris Decorte, Jeroen Van Hautte+3 more|arXiv (Cornell University)|Sep 13, 2022

Topic Modeling被引用 6

一句话总结

本文提出一种基于远程监督的端到端细粒度技能抽取系统，采用硬负样本采样策略以提升对隐式提及技能的检测能力。通过利用ESCO分类体系生成有信息量的负样本，该方法在RP@5指标上性能提升最高达8个百分点，优于基线模型且无需人工标注。

ABSTRACT

Skills play a central role in the job market and many human resources (HR) processes. In the wake of other digital experiences, today's online job market has candidates expecting to see the right opportunities based on their skill set. Similarly, enterprises increasingly need to use data to guarantee that the skills within their workforce remain future-proof. However, structured information about skills is often missing, and processes building on self- or manager-assessment have shown to struggle with issues around adoption, completeness, and freshness of the resulting data. Extracting skills is a highly challenging task, given the many thousands of possible skill labels mentioned either explicitly or merely described implicitly and the lack of finely annotated training corpora. Previous work on skill extraction overly simplifies the task to an explicit entity detection task or builds on manually annotated training data that would be infeasible if applied to a complete vocabulary of skills. We propose an end-to-end system for skill extraction, based on distant supervision through literal matching. We propose and evaluate several negative sampling strategies, tuned on a small validation dataset, to improve the generalization of skill extraction towards implicitly mentioned skills, despite the lack of such implicit skills in the distantly supervised data. We observe that using the ESCO taxonomy to select negative examples from related skills yields the biggest improvements, and combining three different strategies in one model further increases the performance, up to 8 percentage points in RP@5. We introduce a manually annotated evaluation benchmark for skill extraction based on the ESCO taxonomy, on which we validate our models. We release the benchmark dataset for research purposes to stimulate further research on the task.

研究动机与目标

• 解决人力资源应用中细粒度技能抽取的挑战，其中结构化技能数据稀缺且人工标注不切实际。
• 克服现有方法依赖昂贵且细粒度标注数据集的局限，或无法检测隐式提及技能的问题。
• 设计一种可扩展的自动化技能抽取系统，通过字面匹配实现远程监督，最大限度减少对人工标注训练数据的依赖。
• 通过引入并评估多种负样本采样策略，提升模型对隐式技能提及的泛化能力。
• 发布一个基于ESCO分类体系的手动标注基准数据集，以支持可复现的评估及未来自动化技能抽取研究。

提出的方法

• 将技能抽取建模为多标签分类任务，将其分解为每个技能独立的二分类问题。
• 通过已知技能在文本中的字面匹配应用远程监督，自动构建大规模训练集，且误报率极低。
• 提出三种负样本采样策略：(1) 基于Levenshtein距离的字符串相似度，(2) ESCO分类体系层次结构中的同级技能，(3) 预训练模型生成的语义嵌入。
• 以受控采样比例（最高5%的硬负样本）组合三种策略，在不导致过拟合的前提下提升模型泛化能力。
• 在经远程监督增强的带硬负样本数据上微调基于RoBERTa的模型，并使用小规模验证集进行超参数调优。
• 采用固定负样本采样比例：每条正样本句包含10个负样本，最优性能在所有策略中均实现于5%的硬负样本采样比例。

实验结果

研究问题

• RQ1 在远程监督下，不同负样本采样策略在提升隐式提及技能检测能力方面的有效性如何？
• RQ2 在不降低模型性能的前提下，训练过程中应包含的硬负样本最优比例是多少？
• RQ3 结合多种负样本采样策略是否能带来比单独使用任一策略更大的性能增益？
• RQ4 在选择有信息量的负样本时，ESCO分类体系中的层次关系与字符串相似度或嵌入方法相比表现如何？
• RQ5 在无需人工标注的情况下，基于远程监督数据训练的模型在未见的隐式技能提及上泛化能力如何？

主要发现

• 结合全部三种负样本采样策略——Levenshtein、同级技能与嵌入——带来的性能提升最大，与基线相比RP@5最高提升8个百分点。
• 基于同级技能的策略，利用ESCO分类体系的层次结构，贡献了最大的性能提升，且优于字符串相似度或嵌入方法。
• 最优硬负样本比例不超过5%，更高比例会降低模型性能，与先前研究结果一致。
• 当无法获取如ESCO这样的层次结构时，嵌入方法成为强有力的替代方案，其性能与同级技能策略相当。
• 移除同级技能策略导致性能下降最大，而移除Levenshtein策略影响最小，可能因其倾向于选择无关或噪声较大的负样本。
• 最终模型在TECH数据集上达到MRR 0.339和RP@5 31.11，在HOUSE数据集上达到MRR 0.298和RP@5 30.14，展现出跨领域的强大泛化能力。