[论文解读] Learning Job Titles Similarity from Noisy Skill Labels

Rabih Zbib, Lucas Lacasa Alvarez+6 more|arXiv (Cornell University)|Jul 1, 2022

Topic Modeling被引用 4

一句话总结

本文提出 Job Similarity Training，一种无监督方法，通过模仿从嘈杂技能标签中提取的密集向量嵌入，训练职位标题编码器以学习语义相似性。该方法在文本排序和职位标准化任务上优于现有基线模型，包括先前的 SOTA 模型 JobBERT，即使在低质量技能数据下也表现出稳健性能。

ABSTRACT

Measuring semantic similarity between job titles is an essential functionality for automatic job recommendations. This task is usually approached using supervised learning techniques, which requires training data in the form of equivalent job title pairs. In this paper, we instead propose an unsupervised representation learning method for training a job title similarity model using noisy skill labels. We show that it is highly effective for tasks such as text ranking and job normalization.

研究动机与目标

• 解决为训练职位标题相似性模型而获取高质量标注数据的挑战。
• 开发一种无监督训练流程，利用嘈杂的技能标签作为代理信号，学习职位标题的语义表示。
• 在不依赖昂贵的人工标注相似性对的情况下，提升下游任务（如文本排序和职位标准化）的性能。
• 评估基于技能的监督在存在技能标注噪声和不一致性的情况下，学习稳健职位标题嵌入的有效性。
• 发布一个新的基准数据集，用于文本排序任务中职位标题相似性的评估。

提出的方法

• 首先，使用预训练的 Doc2vec 模型，通过其关联的嘈杂技能集合为每个职位标题学习辅助的密集向量嵌入。
• 其次，训练一个神经职位标题编码器（BiLSTM 或 BERT），将其原始职位标题映射到与辅助技能嵌入相同的向量空间。
• 使用对比损失目标训练编码器，以最小化编码器输出与预先计算的基于技能的嵌入向量之间的距离。
• 该方法仅使用职位标题及其关联的技能标签——无需人工标注的相似性对。
• 训练过程端到端进行，编码器通过从嘈杂技能中学习语义模式，实现对未见职位标题的泛化。
• 最终模型为职位标题生成固定大小的密集向量，可用于语义相似性、检索和标准化任务。

实验结果

研究问题

• RQ1 能否在无需人工标注相似性对的情况下，有效利用嘈杂技能标签训练职位标题编码器以实现语义相似性？
• RQ2 所提出的 Job Similarity Training 方法在文本排序和职位标准化任务中，与监督方法及其它无监督基线相比表现如何？
• RQ3 模型性能在多大程度上依赖于训练数据中技能到职位的映射质量？
• RQ4 所学习的职位标题表示能否泛化到未见的职位标题，并在多语言和跨语言设置中表现良好？
• RQ5 训练后的编码器在多大程度上能够捕捉与职位标题相关联的技能信息？

主要发现

• 在职位标准化基准上，Job Similarity Training 方法的平均倒数排名（MRR）达到 0.3414，优于 JobBERT 的 MRR 0.3092。
• 在文本排序任务中，基于 BERT 的编码器使该方法的 P@10 达到 0.5400，超过 JobBERT 的 P@10 0.4604。
• 该模型显著优于直接使用嘈杂技能集进行检索的基线方法，表明学习语义编码器比直接匹配技能向量具有更好的泛化能力。
• 即使在使用嘈杂技能的情况下，该方法仍表现出强劲性能，表明其能有效从低质量监督信号中学习。
• 在多语言和跨语言设置中，模型性能表现稳健，如附录 0.B 中的消融研究所示。
• 编码器能够捕捉有意义的技能相关信息，如附录 0.C 中的消融研究证实，模型输出与底层技能集高度相关。