[论文解读] Curriculum Vitae Recommendation Based on Text Mining

Honorio Apaza Alanoca, Américo Ariel Rubin de Celis Vidal+1 more|arXiv (Cornell University)|Jul 21, 2020

Data Mining Algorithms and Applications参考文献 4被引用 4

一句话总结

本文提出了一种基于文本挖掘和自然语言处理技术的秘鲁就业市场简历推荐系统，特别采用TF-IDF加权方法根据与职位空缺的相关性对简历进行排序。该方法在简历和职位描述之间计算词频-逆文档频率得分，生成一个标准化的相关性评分（0.000 至 0.549），作为简历推荐的精确、确定性评分，同时以一般TF-IDF平均值作为候选人匹配的可靠资格度量标准。

ABSTRACT

During the last years, the development in diverse areas related to computer science and internet, allowed to generate new alternatives for decision making in the selection of personnel for state and private companies. In order to optimize this selection process, the recommendation systems are the most suitable for working with explicit information related to the likes and dislikes of employers or end users, since this information allows to generate lists of recommendations based on collaboration or similarity of content. Therefore, this research takes as a basis these characteristics contained in the database of curricula and job offers, which correspond to the Peruvian ambit, which highlights the experience, knowledge and skills of each candidate, which are described in textual terms or words. This research focuses on the problem: how we can take advantage from the growth of unstructured information about job offers and curriculum vitae on different websites for CV recommendation. So, we use the techniques from Text Mining and Natural Language Processing. Then, as a relevant technique for the present study, we emphasize the technique frequency of the Term - Inverse Frequency of the documents (TF-IDF), which allows identifying the most relevant CVs in relation to a job offer of website through the average values (TF-IDF). So, the weighted value can be used as a qualification value of the relevant curriculum vitae for the recommendation.

研究动机与目标

• 解决秘鲁就业门户网站中普遍存在的非结构化、基于文本的数据背景下，求职者与相关职位空缺匹配的挑战。
• 开发一种推荐系统，利用简历和职位发布中的显式文本内容，提升招聘效率。
• 使用真实秘鲁就业数据评估TF-IDF在量化简历与特定职位空缺相关性方面的有效性。
• 提供一种基于词项相关性和逆文档频率的自动化简历推荐数据模型。
• 通过识别市场需求的关键技能和人才画像，支持大学课程设置和就业市场分析。

提出的方法

• 使用Scrapy和BeautifulSoup进行网络爬取，从Computrabajo和Bumeran等秘鲁就业平台提取10,000份职位空缺和10,000份简历（西班牙语）。
• 通过NLTK进行文本预处理，包括去除ASCII字符、转为小写、去除标点和重音符号，以及过滤停用词。
• 计算语料库中每个词项的词频（TF）和逆文档频率（IDF），使用公式：$ \text{TF-IDF} = \text{TF} \times \text{IDF} $，其中 $ \text{IDF} = \log\left(\frac{N}{\text{df}(t)}\right) $。
• 对每份简历与每个职位空缺的TF-IDF得分进行聚合，计算每份文档的特定平均值以及所有文档的总体平均值。
• 使用最小-最大归一化对相关性得分进行归一化处理：$ X_{cs} = \frac{X - X_{\text{min}}}{X_{\text{max}} - X_{\text{min}}} $，取值范围为0.000至0.549。
• 构建一个5000×9998的矩阵，映射简历与职位空缺的相关性，支持系统化分析与推荐。

实验结果

研究问题

• RQ1 如何将秘鲁就业门户网站中的非结构化文本数据有效转化为结构化的简历推荐相关性评分？
• RQ2 TF-IDF加权方法在多大程度上准确反映了简历与特定职位空缺的相关性？
• RQ3 跨文档的TF-IDF得分总体平均值能否作为简历推荐的可靠、确定性评分？
• RQ4 TF-IDF值的归一化处理如何提升推荐系统中的可解释性与可用性？
• RQ5 通过词项相关性分析，可以从秘鲁就业市场中得出关于技能与经验需求的哪些见解？

主要发现

• TF-IDF方法成功通过词频与逆文档频率的确定性非概率计算，量化了简历与职位空缺的相关性。
• 最高归一化相关性得分为0.549，最低为0.000，表明候选人匹配度具有明确的范围。
• 基于相关词项的最高平均TF-IDF得分，简历2号和8号被确定为职位7的最相关简历。
• 所有文档的总体平均TF-IDF得分（0.092）作为简历相关性排名的稳健且一致的度量标准。
• 所生成的数据模型产出一个5000×9998的简历-职位相关性评分矩阵，支持可扩展且系统化的候选人推荐。
• 本研究证明，归一化的TF-IDF得分可直接用作推荐系统中的资格评分，无需概率建模或用户反馈。