[논문 리뷰] How LinkedIn Economic Graph Bonds Information and Product: Applications in LinkedIn Salary

Xi Chen, Yiqun Liu외 2명|arXiv (Cornell University)|2018. 06. 24.

Data Mining Algorithms and Applications참고 문헌 18인용 수 9

한 줄 요약

이 논문은 직접 데이터가 없는 코hort에 대해 LinkedIn의 경제 그래프를 활용하여 기업 수준의 급여 인사이트를 유추하는 이단계 프레임워크를 제안한다. 멤버 이직 패턴에서 유도된 Company2vec 임베딩과 동료 기업 그룹을 활용한 베이지안 스무딩을 통해, 미국의 직급-지역-기업 조합에 대해 인사이트 커버리지가 35배 향상되었으며 정확도는 약간 향상되었다. 이는 수백만 명의 사용자에게 확장 가능하고 프라이버시를 보장하는 보상 인사이트를 가능하게 한다.

ABSTRACT

The LinkedIn Salary product was launched in late 2016 with the goal of providing insights on compensation distribution to job seekers, so that they can make more informed decisions when discovering and assessing career opportunities. The compensation insights are provided based on data collected from LinkedIn members and aggregated in a privacy-preserving manner. Given the simultaneous desire for computing robust, reliable insights and for having insights to satisfy as many job seekers as possible, a key challenge is to reliably infer the insights at the company level when there is limited or no data at all. We propose a two-step framework that utilizes a novel, semantic representation of companies (Company2vec) and a Bayesian statistical model to address this problem. Our approach makes use of the rich information present in the LinkedIn Economic Graph, and in particular, uses the intuition that two companies are likely to be similar if employees are very likely to transition from one company to the other and vice versa. We compute embeddings for companies by analyzing the LinkedIn members' company transition data using machine learning algorithms, then compute pairwise similarities between companies based on these embeddings, and finally incorporate company similarities in the form of peer company groups as part of the proposed Bayesian statistical model to predict insights at the company level. We perform extensive validation using several different evaluation techniques, and show that we can significantly increase the coverage of insights while, in fact, even improving the quality of the obtained insights. For example, we were able to compute salary insights for 35 times as many title-region-company combinations in the U.S. as compared to previous work, corresponding to 4.9 times as many monthly active users. Finally, we highlight the lessons learned from deployment of our system.

연구 동기 및 목표

• 희소하거나 전혀 멤버가 제출한 데이터가 없는 기업 수준의 신뢰할 수 있고 프라이버시를 보장하는 급여 인사이트를 제공하는 데 도전 과제를 해결하기 위해.
• 데이터가 풍부한 코hort을 넘어서 더 많은 직업 탐색자에게 서비스를 제공하기 위해 제품 커버리지를 향상시키기 위해.
• 직접 보상 제출 데이터가 전혀 없는 기업에 대해서도 인사이트의 강건성과 신뢰성을 확보하기 위해.
• 직원 이직 패턴을 기반으로 회사 유사도를 모델링하기 위해 LinkedIn 경제 그래프를 활용하기 위해.
• LinkedIn 급여 제품에서 확장 가능하고 프로덕션 준비가 된 기업 수준의 인사이트 페이지를 제공하기 위해.

제안 방법

• LinkedIn 멤버의 기업 이력 기록을 기반으로 음수 샘플링을 사용한 스킵그램 방식으로 Company2vec 임베딩을 훈련한다.
• 학습된 임베딩을 바탕으로 쌍방향 기업 유사도를 계산하여 각 기업의 동료 기업 그룹을 정의한다.
• 동료 기업 그룹 정보를 베이지안 계층적 스무딩 모델에 통합하여 기업 수준의 급여 인사이트를 추정한다.
• 동료 그룹 데이터를 사용하여 (직급, 지역) 수준 추정치와 기업별 조정치를 조합하여 희소하거나 데이터가 없는 경우의 추정치를 스무딩한다.
• 멤버 데이터를 보호하기 위해 탈식별화, 집계, 임계값 설정과 같은 프라이버시 보존 기법을 적용한다.
• 계층적 사전 확률을 사용한 통계 모델링을 통해 데이터가 부족한 경우 유사 기업으로부터 강도를 빌려오는 방식을 사용한다.

실험 결과

연구 질문

• RQ1 직접 멤버가 제출한 데이터가 전혀 없는 기업에 대해 어떻게 안정적으로 급여 인사이트를 유추할 수 있는가?
• RQ2 기업 간 직원 이직 패턴이 보상 맥락에서 기업 유사도의 대체 지표로 얼마나 효과적인가?
• RQ3 학습된 기업 임베딩이 프라이버시를 보장하면서도 급여 인사이트의 정확도와 커버리지를 향상시킬 수 있는가?
• RQ4 베이지안 스무딩을 통해 동료 기업 그룹을 통합할 경우, 기준 모델 대비 인사이트 품질과 커버리지가 어떻게 향상되는가?
• RQ5 이 프레임워크는 실제 제품 지표, 예를 들어 인사이트 커버리지와 사용자 도달률에 어떤 영향을 미치는가?

주요 결과

• 제안된 프레임워크는 이전 연구 대비 미국 내 (직급, 지역, 기업) 코호트의 급여 인사이트 가용 수를 35배 증가시켰다.
• 인사이트 커버리지가 4.9배 더 많은 월간 활성 LinkedIn 사용자에게까지 확장되어 제품 접근성에 크게 기여했다.
• 커버리지가 크게 증가했음에도 불구하고, 탈식별화된 멤버 데이터를 기반으로 한 검증 결과 정확도가 약간 향상되었다.
• Company2vec 모델은 이직 패턴을 기반으로 기업 간 의미적 관계를 성공적으로 포착하여 효과적인 동료 그룹 형성에 기여했다.
• 베이지안 스무딩 모델은 낮은 데이터 환경에서 동료 그룹 정보를 효과적으로 활용하여 추정치의 안정성을 확보하면서도 정확도를 훼손하지 않았다.
• 시스템은 강력한 프로덕션 타당성을 입증했으며, 6개월 이상의 성공적 배포와 명확한 비즈니스 영향을 기록했다.