[论文解读] IPOD: Corpus of 190, 000 Industrial Occupations.

Junhua Liu, Chu Guo+3 more|arXiv (Cornell University)|Oct 22, 2019

Topic Modeling参考文献 53被引用 8

一句话总结

IPOD 是一个新颖的公开语料库，包含从 LinkedIn 个人资料中挖掘的 190,000 个工业职位标题，支持高级职业数据挖掘。作者使用基于知识的术语表（包含专家标注的命名实体，采用 BIOES 格式），训练了多种命名实体识别（NER）模型——条件随机场（CRF）和长短期记忆网络-条件随机场（LSTM-CRF）模型在精确匹配和 F1 分数上的表现均超越人类水平的准确率。

ABSTRACT

Job titles are the most fundamental building blocks for occupational data mining tasks, such as Career Modelling and Job Recommendation. However, there are no publicly available dataset to support such efforts. In this work, we present the Industrial and Professional Occupations Dataset (IPOD), which is a comprehensive corpus that consists of over 190,000 job titles crawled from over 56,000 profiles from Linkedin. To the best of our knowledge, IPOD is the first dataset released for industrial occupations mining. We use a knowledge-based approach for sequence tagging, creating a gazzetteer with domain-specific named entities tagged by 3 experts. All title NE tags are populated by the gazetteer using BIOES scheme. Finally, We develop 4 baseline models for the dataset on NER task with several models, including Linear Regression, CRF, LSTM and the state-of-the-art bi-directional LSTM-CRF. Both CRF and LSTM-CRF outperform human in both exact-match accuracy and f1 scores.

研究动机与目标

• 解决工业职业数据挖掘领域缺乏公开可用数据集的问题。
• 从真实世界的 LinkedIn 个人资料中构建一个全面且大规模的职位标题语料库。
• 使用基于知识的方法开发一个可靠的工业职位标题命名实体识别（NER）系统。
• 为工业职业数据的 NER 任务建立基线模型，并与人类标注结果进行性能基准对比。

提出的方法

• 爬取超过 56,000 个 LinkedIn 个人资料，收集 190,000 个唯一的职位标题用于语料库构建。
• 使用专家标注的命名实体（采用 BIOES 标注方案）构建领域特定的术语表。
• 应用基于知识的序列标注方法，利用术语表自动标注所有职位标题。
• 在 NER 任务上训练并评估四种基线模型：线性回归、CRF、LSTM 和双向 LSTM-CRF 模型。
• 使用精确匹配准确率和 F1 分数作为评估指标，将模型性能与人类标注结果进行比较。

实验结果

研究问题

• RQ1 能否从真实的 LinkedIn 个人资料中有效构建一个大规模且公开可用的工业职位标题语料库？
• RQ2 基于知识的术语表方法在工业职位标题命名实体识别中的有效性如何？
• RQ3 在该 NER 任务中，深度学习模型（如 LSTM-CRF）是否优于传统模型（如 CRF）？
• RQ4 机器学习模型能否在职位标题 NER 的精确匹配准确率和 F1 分数上超越人类水平表现？

主要发现

• IPOD 语料库是首个同类型公开可用的语料库，包含来自超过 56,000 个 LinkedIn 个人资料的 190,000 个工业职位标题。
• CRF 模型在 NER 任务中的精确匹配准确率和 F1 分数均高于人类标注者。
• 双向 LSTM-CRF 模型在精确匹配准确率和 F1 分数上均优于所有其他模型，包括 CRF。
• 基于知识的术语表方法实现了对全部 190,000 个职位标题的一致且可扩展的标注，方法基于专家标注的领域实体。