[논문 리뷰] Learning Job Titles Similarity from Noisy Skill Labels

Rabih Zbib, Lucas Lacasa Alvarez외 6명|arXiv (Cornell University)|2022. 07. 01.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 노이즈가 있는 스킬 레이블에서 유도된 조밀한 벡터 임베딩을 모방함으로써 의미적 유사성을 학습할 수 있도록 직무 제목 인코더를 훈련시키는 비지도 학습 방법인 Job Similarity Training을 제안한다. 이 방법은 텍스트 랭킹 및 직무 정규화 작업에서 기존의 베이스라인, 특히 이전의 최고 성능을 기록한 JobBERT보다 뛰어난 성능을 보이며, 저품질의 스킬 데이터가 존재하는 상황에서도 강건한 성능을 입증한다.

ABSTRACT

Measuring semantic similarity between job titles is an essential functionality for automatic job recommendations. This task is usually approached using supervised learning techniques, which requires training data in the form of equivalent job title pairs. In this paper, we instead propose an unsupervised representation learning method for training a job title similarity model using noisy skill labels. We show that it is highly effective for tasks such as text ranking and job normalization.

연구 동기 및 목표

• 직무 제목 유사성 모델을 훈련시키기 위해 고품질의 레이블 데이터를 확보하는 데 도전하는 것.
• 직무 제목의 의미적 표현을 학습하기 위한 프록시 신호로 노이즈가 있는 스킬 레이블을 활용하는 비지도 훈련 절차를 개발하는 것.
• 비싼 인간 레이블링이 필요한 유사성 쌍을 기반으로 하지 않고도 텍스트 랭킹 및 직무 정규화와 같은 후행 작업에서 성능을 향상시키는 것.
• 스킬 레이블의 노이즈와 일관성 없는 문제에도 불구하고, 스킬 기반의 지도 신호가 얼마나 효과적으로 강건한 직무 제목 임베딩을 학습하는지 평가하는 것.
• 텍스트 랭킹 작업에서의 직무 제목 유사성 평가를 위한 새로운 벤치마크 데이터셋을 공개하는 것.

제안 방법

• 먼저, 사전 훈련된 Doc2vec 모델을 사용하여 각 직무 제목과 관련된 노이즈가 있는 스킬 세트를 기반으로 보조적인 조밀한 벡터 임베딩을 학습한다.
• 두 번째로, 원시 직무 제목을 보조 스킬 임베딩의 벡터 공간과 동일한 공간으로 매핑하는 신경망 기반의 직무 제목 인코더(BiLSTM 또는 BERT)를 훈련시킨다.
• 인코더는 사전에 계산된 스킬 기반 임베딩 벡터와 인코더의 출력 간의 거리를 최소화하는 대비 손실 기반 목적함수를 사용하여 훈련된다.
• 이 방법은 인간 레이블링된 유사성 쌍이 필요 없이, 오직 직무 제목과 관련된 스킬 레이블만을 사용한다.
• 훈련 과정은 엔드 투 엔드로 이루어지며, 인코더는 노이즈가 있는 스킬에서 의미적 패턴을 학습함으로써 미리 보지 않은 직무 제목으로 일반화할 수 있다.
• 최종 모델은 의미적 유사성, 검색, 정규화 작업에 사용할 수 있는 고정 크기의 조밀한 벡터를 생성한다.

실험 결과

연구 질문

• RQ1 인간 레이블링된 유사성 쌍이 없이도 노이즈가 있는 스킬 레이블을 효과적으로 활용해 의미적 유사성을 학습하는 직무 제목 인코더를 훈련시킬 수 있는가?
• RQ2 텍스트 랭킹 및 직무 정규화 작업에서 제안된 Job Similarity Training 방법의 성능이 지도 학습 및 다른 비지도 기반 베이스라인과 비교해 어떻게 되는가?
• RQ3 훈련 데이터의 스킬-직무 매핑 품질이 모델 성능에 얼마나 영향을 미치는가?
• RQ4 학습된 직무 제목 표현이 새로운 직무 제목으로 일반화되며, 다국어 및 다언어 설정에서도 잘 작동하는가?
• RQ5 훈련된 인코더가 특정 직무 제목과 관련된 스킬 정보를 얼마나 잘 포착하는가?

주요 결과

• Job Similarity Training 방법은 직무 정규화 벤치마크에서 MRR 0.3414를 기록하여 JobBERT의 MRR 0.3092를 능가한다.
• 텍스트 랭킹 작업에서는 BERT 기반 인코더를 사용할 경우 P@10가 0.5400을 기록하여 JobBERT의 P@10 0.4604를 초월한다.
• 직접 스킬 벡터 매칭을 사용하는 베이스라인 대비 성능이 뚜렷이 뛰어나, 의미적 인코더를 학습하는 것이 직접적인 스킬 벡터 매칭보다 더 잘 일반화됨을 보여준다.
• 노이즈가 있는 스킬이 존재하더라도 강력한 성능을 기록하여, 저품질의 지도 신호에서도 효과적으로 학습할 수 있음을 입증한다.
• 다국어 및 다언어 설정에서도 성능이 강건함을 입증하였으며, 부록 0.B의 분석에서 이를 확인할 수 있다.
• 부록 0.C의 분석에서 확인한 lin-정규화 연구 결과, 모델의 출력이 기반 스킬 세트와 높은 상관관계를 보임을 통해, 인코더가 의미 있는 스킬 관련 정보를 잘 포착하고 있음을 확인할 수 있다.