[논문 리뷰] Career Path Prediction using Resume Representation Learning and Skill-based Matching

Jens-Joris Decorte, Jeroen Van Hautte외 3명|arXiv (Cornell University)|2023. 10. 24.

Artificial Intelligence in Healthcare인용 수 4

한 줄 요약

이 논문은 구조화되지 않은 경력 경험 기술 기반으로 직업 경로를 예측하기 위한 새로운 표현 학습 모델인 CareerBERT를 제안한다. 기술 기반 매칭과 텍스트 기반 예측을 융합한 하이브리드 모델을 통해, ESCO 직업 레이블이 부여된 익명화된 경력 이력 2,164건으로 구성된 새로운 데이터셋에서 43.01%의 recall@10 성능을 달성하였으며, 개별 접근 방식보다 뛰어난 성능을 보였다.

ABSTRACT

The impact of person-job fit on job satisfaction and performance is widely acknowledged, which highlights the importance of providing workers with next steps at the right time in their career. This task of predicting the next step in a career is known as career path prediction, and has diverse applications such as turnover prevention and internal job mobility. Existing methods to career path prediction rely on large amounts of private career history data to model the interactions between job titles and companies. We propose leveraging the unexplored textual descriptions that are part of work experience sections in resumes. We introduce a structured dataset of 2,164 anonymized career histories, annotated with ESCO occupation labels. Based on this dataset, we present a novel representation learning approach, CareerBERT, specifically designed for work history data. We develop a skill-based model and a text-based model for career path prediction, which achieve 35.24% and 39.61% recall@10 respectively on our dataset. Finally, we show that both approaches are complementary as a hybrid approach achieves the strongest result with 43.01% recall@10.

연구 동기 및 목표

• 직업 경로 예측을 위한 개방형 공개 데이터셋의 부족을 해결하고자, ESCO 직업 레이블이 부여된 익명화된 경력 이력 2,164건으로 구성된 데이터셋을 구축하고 공개한다.
• 경력 이력 텍스트에 특화된 도메인 전용 표현 학습 모델인 CareerBERT를 개발하여 직업 경로 예측 성능을 향상시킨다.
• 이력서의 텍스트 기반 기술 기술이 기존의 기술 기반 또는 직위 기반 방법을 초월하여 직업 경로 예측 성능을 향상시킬 수 있는지 조사한다.
• 기술 기반 및 텍스트 기반 예측 모델 간의 상호보완성을 평가하여 성능 향상을 도모한다.
• 텍스트 표현과 구조화된 기술 온톨로지 정보를 융합할 경우, 단일 모odal 사용보다 더 강력한 예측 성능을 달성할 수 있는지 입증한다.

제안 방법

• 저자들은 이력서에서 유래한 익명화된 경력 이력 2,164건으로 구성된 데이터셋을 구축하였으며, 각 이력은 구조화된 예측을 가능하게 하기 위해 ESCO 직업 레이블로 레이블링되었다.
• 경력 궤적의 문맥적 표현을 학습하기 위해 작업 경험 기술 기반으로 훈련된 BERT 기반 모델인 CareerBERT를 도입하였다.
• CareerBERT의 세 가지 변형(마지막 경험만 사용하는 LAST, 모든 경험을 사용하는 FULL, 모든 경험과 전체 시퀀스 모델링을 적용하는 ALL)을 선형 투영 헤드 유무와 함께 평가하였다.
• 현재 기술을 미래 직무 요구사항과 매칭하기 위해 ESCO 온톨로지 매핑을 활용한 기술 기반 예측 모델을 구현하였다.
• 텍스트 기반 및 기술 기반 예측을 가중치 α를 통해 통합하는 하이브리드 예측 모델을 개발하였으며, 검증 세트에서 그리드 서치를 통해 최적의 α를 도출하였다.
• 최종 모델은 α = 0.8를 사용하여 텍스트 신호와 기술 신호를 균형 있게 조합하여 테스트 세트에서 최고의 성능을 달성하였다.

실험 결과

연구 질문

• RQ1 이력서의 비정형 텍스트 기술 기술이 기존의 직위 기반 또는 회사 기반 방법을 초월하여 직업 경로 예측 성능을 향상시킬 수 있는가?
• RQ2 CareerBERT와 같은 도메인 특화 표현 학습 모델이 자유 텍스트 기반의 경력 경험 기술에서 경력 궤적 패턴을 얼마나 잘 포착할 수 있는가?
• RQ3 기술 기반 및 텍스트 기반 예측 모델 간의 상호보완성은 직업 경로 예측에서 어느 정도의 기여를 하는가?
• RQ4 텍스트 표현과 구조화된 기술 온톨로지 정보를 융합할 경우, 단일 모달 사용보다 더 높은 성능을 달성할 수 있는가?
• RQ5 텍스트 기반 및 기술 기반 예측을 통합하는 데 있어 최적의 융합 전략은 무엇인가?

주요 결과

• 텍스트 기반 및 기술 기반 예측을 융합한 하이브리드 모델이 가장 높은 성능을 보이며, 43.01%의 recall@10 성능을 기록하였다. 이는 개별 접근 방식보다 뛰어난 성능을 보였다.
• 선형 투영 헤드를 적용한 CareerBERT-ALL을 사용한 텍스트 기반 모델은 39.61%의 recall@10 성능을 기록하여, 이력서 텍스트에서 유도된 강력한 문맥적 표현의 가치를 입증하였다.
• 기본 기술 기반 모델은 35.24%의 recall@10 성능을 기록하여, 기술 매칭 자체가 강력한 베이스라인임을 보여주었다.
• 역방향 이력 기반의 베이스라인은 단지 26.49%의 recall@10 성능을 기록하여, 더 복잡한 모델링의 필요성을 강조하였다.
• 선형 투영 헤드는 대부분의 경우 성능 향상을 이끌었으며, 특히 α = 0.8를 사용한 하이브리드 모델에서 가장 높은 성능을 기록하였다.
• 모든 경험을 시퀀스로 처리하는 CareerBERT-ALL이 다른 CareerBERT 변형보다 뛰어난 성능을 보여, 전체 시퀀스 모델링의 이점이 있음을 확인하였다.