[논문 리뷰] Bringing Salary Transparency to the World: Computing Robust Compensation Insights via LinkedIn Salary

Krishnaram Kenthapadi, Stuart Ambler외 2명|arXiv (Cornell University)|2017. 03. 29.

Data Mining Algorithms and Applications참고 문헌 10인용 수 10

한 줄 요약

이 논문은 100만 명이 넘는 LinkedIn 사용자로부터의 익명화된 급여 데이터를 활용하여 대규모로 보상 인사이트를 계산하기 위한 강력한 통계 모델링 시스템을 제시한다. 베이지안 계층적 스무딩과 이상치 탐지 기법을 활용하여 직무 명, 지역, 인구통계학적 요소별로 정확하고 개인정보 보호를 고려한 보상 인사이트를 제공함으로써, 데이터가 희박한 상황에서도 신뢰성과 커버리지가 크게 향상된다.

ABSTRACT

The recently launched LinkedIn Salary product has been designed with the goal of providing compensation insights to the world's professionals and thereby helping them optimize their earning potential. We describe the overall design and architecture of the statistical modeling system underlying this product. We focus on the unique data mining challenges while designing and implementing the system, and describe the modeling components such as Bayesian hierarchical smoothing that help to compute and present robust compensation insights to users. We report on extensive evaluation with nearly one year of de-identified compensation data collected from over one million LinkedIn users, thereby demonstrating the efficacy of the statistical models. We also highlight the lessons learned through the deployment of our system at LinkedIn.

연구 동기 및 목표

• 익명화된 급여 데이터를 사용하여 전문가들에게 신뢰할 수 있는 보상 인사이트를 제공하기 위한 확장성 있고 개인정보 보호 기반의 시스템을 설계하는 것.
• 낮은 표본 수의 집단에서의 희박하고 노이즈가 많은 보상 데이터 문제를 통계적 스무딩과 이상치 탐지 기법을 통해 해결하는 것.
• 익명화, 집계, 임계값 설정을 통해 사용자 개인정보를 보호하면서도 제품 커버리지와 데이터 품질을 확보하는 것.
• 100만 명 이상의 사용자로부터의 실제 익명화된 보상 데이터 약 1년 분량을 활용하여 모델링 파이프라인의 효과성을 평가하는 것.
• 고도화된 모델링 및 추론 기법을 통해 사용자 제출 급여 데이터에서 발생할 수 있는 응답 편향과 선택 편향을 정량화하고 보완하는 것.

제안 방법

• 낮은 표본 수의 집단에서 급여를 추정할 때, 더 넓은 직무 범주나 지역과 같은 고수준 그룹화에서의 강도를 빌려오는 데 베이지안 계층적 스무딩을 활용하였다.
• 다단계 이상치 탐지 파이프라인을 구현: 먼저 프로필 및 행동 특징을 기반으로 사용자 수준에서, 그 다음에는 왜도를 측정하는 메디안 기반 지표인 메드커플(Medcouple) 등을 사용한 통계적 측정 기반으로 코hort 수준에서 이상치를 탐지하였다.
• 해당 집단에 최소 20건 이상의 데이터가 있을 경우에만 히스토그램을 표시하도록 임계값 설정과 집계를 적용하여, 개인정보 보호와 신뢰성 확보를 목적으로 하였다.
• 재식별을 방지하기 위해 익명화 및 액세스 제어를 유지하면서도 사용자 참여를 유도하는 '기부-수령' 데이터 수집 모델을 설계하였다.
• 개인 급여 데이터가 공개된 인사이트에서 유추될 수 없도록, 암호화 및 액세스 제어 메커니즘을 사용하여 데이터 유출에 대비하고 보호하였다.
• 통일된 통계 모델링 프레임워크를 사용하여 직무 명, 지역, 경력, 학력, 기업 규모, 산업 등 다양한 차원에서 보상 인사이트를 통합하였다.

실험 결과

연구 질문

• RQ1 수백만 명의 사용자로부터의 희박하고 익명화된 급여 데이터가 존재하는 상황에서 어떻게 강력한 보상 인사이트를 계산할 수 있는가?
• RQ2 개인정보 보호를 해치지 않으면서도 낮은 표본 수의 집단에서 급여 추정치를 효과적으로 스무딩할 수 있는 통계 기법은 무엇인가?
• RQ3 사용자 수준과 코hort 수준의 이상치는 어떻게 탐지하고 처리하여 모델의 신뢰성을 향상시킬 수 있는가?
• RQ4 개인정보 보호 기반의 데이터 수집 메커니즘이 어떻게 확장성 있고 정확한 보상 인사이트를 지원할 수 있는가?
• RQ5 사용자 제출 급여 데이터에서 발생하는 응답 편향과 선택 편향은 어떻게 정량화하고 보정할 수 있는가?

주요 결과

• 베이지안 계층적 스무딩 모델은 낮은 표본 수의 집단에서 추정 정확도를 크게 향상시켜, 개별 집단의 크기가 20명에 불과한 경우에도 안정적인 인사이트 제공이 가능하게 하였다.
• 사용자 수준과 코hort 수준에서의 이상치 탐지로 극단적이거나 오류가 있는 급여 제출의 영향을 줄여 최종 인사이트의 강건성과 신뢰성을 향상시켰다.
• 히스토그램 표시를 위한 20건의 최소 데이터 수 기준을 적용함으로써 높은 제품 커버리지를 달성하였으며, 데이터 품질과 가시성 사이의 균형을 확보하였다.
• 100만 명 이상의 사용자로부터의 약 1년 분량의 익명화된 데이터를 대상으로 한 평가를 통해 통계 모델이 일관되고 신뢰할 수 있는 보상 분포를 생성하는 데 효과적임을 입증하였다.
• 실제 구현 과정에서 개인정보 보호, 데이터 품질, 커버리지 사이의 핵심 상충 관계를 확인하였으며, 이에 따라 동적 임계값 설정 및 향상된 스무딩 전략 등의 설계 개선 조치를 도입하였다.
• 향후 연구 과제로는 보조 데이터 소스(예: 직무 공고, 전환 그래프)를 활용한 시스템 확장과, 역확률 가중치 모델을 통한 응답 편향 보정 가능성을 규명하였다.