[论文解读] conSultantBERT: Fine-tuned Siamese Sentence-BERT for Matching Jobs and Job Seekers

Dor Lavi, Volodymyr Medentsiy+1 more|arXiv (Cornell University)|Sep 14, 2021

Topic Modeling被引用 12

一句话总结

本文提出 conSultantBERT，一种微调后的孪生句向量 BERT 模型，用于使用多语言简历和职位描述文本匹配求职者与职位空缺。通过利用 270,000 份专家标注的简历-职位空缺配对数据，该模型在性能上优于 TF-IDF 和 BERT 基线模型，展现出强大的多语言和跨语言匹配能力，尤其在通过余弦相似度回归优化后表现更优。

ABSTRACT

In this paper we focus on constructing useful embeddings of textual information in vacancies and resumes, which we aim to incorporate as features into job to job seeker matching models alongside other features. We explain our task where noisy data from parsed resumes, heterogeneous nature of the different sources of data, and crosslinguality and multilinguality present domain-specific challenges. We address these challenges by fine-tuning a Siamese Sentence-BERT (SBERT) model, which we call conSultantBERT, using a large-scale, real-world, and high quality dataset of over 270,000 resume-vacancy pairs labeled by our staffing consultants. We show how our fine-tuned model significantly outperforms unsupervised and supervised baselines that rely on TF-IDF-weighted feature vectors and BERT embeddings. In addition, we find our model successfully matches cross-lingual and multilingual textual content.

研究动机与目标

• 开发一种可扩展的多语言职位匹配系统，能够处理嘈杂且异构的简历和职位空缺文本数据。
• 创建高质量的简历和职位描述文本嵌入表示，即使在缺乏词汇重叠的情况下也能捕捉语义相似性。
• 实现在不同语言之间（如英语和荷兰语）的简历与职位发布之间的有效跨语言匹配。
• 通过使用 TF-IDF 和标准 BERT 嵌入表示，提升与无监督及有监督基线模型相比的匹配性能。
• 评估基于回归的 SBERT 微调是否能为下游推荐系统生成比基于分类的优化更有效的嵌入表示。

提出的方法

• 微调一个多语言 BERT 模型，采用孪生架构，将简历和职位描述编码为密集的句子嵌入表示。
• 使用余弦相似度损失函数，并在标注的简历-职位空缺配对数据上采用回归目标进行模型优化。
• 采用双编码器结构，其中每个输入（简历或职位空缺）独立进行嵌入，然后通过余弦相似度进行比较。
• 利用来自 Randstad 招聘历史的 270,000 份真实世界专家标注的简历-职位空缺配对大规模数据集。
• 通过基于边距的损失函数实施对比学习，以促使匹配对之间具有高相似度，未匹配对之间具有低相似度。
• 通过下游随机森林分类任务评估模型性能，比较不同目标（分类与回归）下的嵌入质量。

实验结果

研究问题

• RQ1 微调后的孪生句向量 BERT 模型是否能在匹配求职者与职位空缺方面优于 TF-IDF 和标准 BERT 嵌入表示？
• RQ2 基于回归的余弦相似度优化是否能生成比基于分类的优化更优的文本嵌入表示用于职位匹配？
• RQ3 该模型能否有效实现不同语言之间（如英语和荷兰语）的简历与职位描述之间的跨语言匹配？
• RQ4 该模型在多语言和跨语言设置下的泛化能力如何，包括同语言和跨语言配对？
• RQ5 所学习的嵌入在多大程度上保留了用于下游分类任务的判别性信息？

主要发现

• 经过回归优化的 conSultantBERT 模型在匹配性能上显著优于 TF-IDF 和有监督 BERT 基线模型。
• 与基于分类优化的变体相比，回归优化模型在匹配与未匹配简历-职位空缺对之间产生的余弦相似度得分更具可分性。
• 该模型成功弥合了不同语言之间的词汇鸿沟，对跨语言配对（如英文简历与荷兰语职位描述）实现了高相似度得分。
• 即使在多语言数据上进行训练，该模型在同语言配对（如英文-英文、荷兰语-荷兰语）上仍保持强大性能，展现出多语言处理能力。
• 基于 conSultantBERT 嵌入训练的随机森林分类器达到高准确率，证实了嵌入保留了判别性的语义信息。
• 该模型通过实现无论简历语言为何都能实现公平匹配（前提是语言不作为职位要求），降低了基于语言的偏见风险。