[论文解读] Bringing Salary Transparency to the World: Computing Robust Compensation Insights via LinkedIn Salary

Krishnaram Kenthapadi, Stuart Ambler+2 more|arXiv (Cornell University)|Mar 29, 2017

Data Mining Algorithms and Applications参考文献 10被引用 10

一句话总结

本文提出了一套稳健的统计建模系统，利用来自一百多万名领英用户的去标识化薪资数据，大规模计算薪酬洞察。通过利用贝叶斯分层平滑和异常值检测，该系统在职位名称、地区和人口统计学维度上提供了准确且保护隐私的薪酬洞察，在数据稀疏场景下显著提升了可靠性和覆盖范围。

ABSTRACT

The recently launched LinkedIn Salary product has been designed with the goal of providing compensation insights to the world's professionals and thereby helping them optimize their earning potential. We describe the overall design and architecture of the statistical modeling system underlying this product. We focus on the unique data mining challenges while designing and implementing the system, and describe the modeling components such as Bayesian hierarchical smoothing that help to compute and present robust compensation insights to users. We report on extensive evaluation with nearly one year of de-identified compensation data collected from over one million LinkedIn users, thereby demonstrating the efficacy of the statistical models. We also highlight the lessons learned through the deployment of our system at LinkedIn.

研究动机与目标

• 设计一个可扩展的、保护隐私的系统，利用去标识化的薪资数据向专业人士提供可靠的薪酬洞察。
• 通过统计平滑和异常值检测，解决低样本群体中薪酬数据稀疏且嘈杂的挑战。
• 通过去标识化、数据聚合和阈值设定，确保产品覆盖范围和数据质量，同时保护用户隐私。
• 利用近一年来自一百多万名用户的现实世界去标识化薪酬数据，评估建模流程的有效性。
• 通过先进的建模和推理技术，量化并纠正用户提交的薪资数据中的响应偏差和选择偏差。

提出的方法

• 采用贝叶斯分层平滑方法，当估计低样本群体的薪资时，从更高级别的分组（如更广泛的职业类别或地区）借用信息。
• 实施多阶段异常值检测流程：首先基于用户层面的资料和行为特征进行检测，然后基于统计度量（如偏度的中位数）在群体层面进行检测。
• 应用阈值设定和数据聚合，确保仅当群体样本量足够（最少20个条目）时才显示直方图，以保护隐私并保证可靠性。
• 设计了“给予-获取”式数据收集模型，激励用户参与，同时保持去标识化和访问控制，防止重新识别。
• 使用加密和访问控制机制防止数据泄露，并确保无法从发布的洞察中推断出个人薪酬数据。
• 通过统一的统计建模框架，整合多个维度（职位名称、地区、工作经验、教育程度、公司规模和行业）的薪酬洞察。

实验结果

研究问题

• RQ1 在来自数百万用户的稀疏、去标识化薪资数据背景下，如何计算出稳健的薪酬洞察？
• RQ2 哪些统计技术能够有效平滑低样本群体的薪资估计，同时不损害隐私？
• RQ3 如何检测并处理用户层面和群体层面的异常值，以提高模型的可靠性？
• RQ4 隐私保护的数据收集机制在多大程度上能够支持可扩展且准确的薪酬洞察？
• RQ5 如何量化并校正用户提交的薪资数据中的响应偏差和选择偏差？

主要发现

• 贝叶斯分层平滑模型显著提升了低样本群体的估计准确性，使得即使在单个群体规模小至20名用户时也能提供可靠的洞察。
• 在用户和群体两个层面实施的异常值检测减少了极端或错误薪资提交的影响，增强了最终洞察的稳健性。
• 通过设定每个群体至少20个条目的阈值来显示直方图，系统实现了高水平的产品覆盖，同时平衡了数据质量和可见性。
• 对近一年来自一百多万名用户的去标识化数据的评估表明，统计模型在生成一致且可靠的薪酬分布方面表现出色。
• 部署过程中揭示了隐私、数据质量和覆盖范围之间的关键权衡，促使设计优化，如动态阈值设定和改进的平滑策略。
• 未来工作识别出可通过辅助数据源（如职位发布信息、职业流动图）扩展系统，并利用逆概率加权模型纠正响应偏差的机会。