[논문 리뷰] conSultantBERT: Fine-tuned Siamese Sentence-BERT for Matching Jobs and Job Seekers

Dor Lavi, Volodymyr Medentsiy외 1명|arXiv (Cornell University)|2021. 09. 14.

Topic Modeling인용 수 12

한 줄 요약

이 논문은 다국어 이력서 및 직무 설명 텍스트를 사용하여 구직자와 직무 공고를 매칭하기 위한 피인수된 시아모이 문장 BERT 모델인 conSultantBERT를 제안한다. 270,000개의 전문가 레이블이 부여된 이력서-공고 쌍을 활용하여, TF-IDF 및 BERT 기반 모델보다 뛰어난 성능을 달성하며, 특히 코사인 유사도에 대한 회귀 최적화를 통해 강력한 다국어 및 다국어 간 매칭 능력을 입증한다.

ABSTRACT

In this paper we focus on constructing useful embeddings of textual information in vacancies and resumes, which we aim to incorporate as features into job to job seeker matching models alongside other features. We explain our task where noisy data from parsed resumes, heterogeneous nature of the different sources of data, and crosslinguality and multilinguality present domain-specific challenges. We address these challenges by fine-tuning a Siamese Sentence-BERT (SBERT) model, which we call conSultantBERT, using a large-scale, real-world, and high quality dataset of over 270,000 resume-vacancy pairs labeled by our staffing consultants. We show how our fine-tuned model significantly outperforms unsupervised and supervised baselines that rely on TF-IDF-weighted feature vectors and BERT embeddings. In addition, we find our model successfully matches cross-lingual and multilingual textual content.

연구 동기 및 목표

• 노이즈가 많고 이질적인 이력서 및 공고 텍스트 데이터를 처리할 수 있는 확장 가능한 다국어 직업 매칭 시스템을 개발하는 것.
• 어휘적 겹침이 없더라도 의미적 유사성을 포착하는 이력서 및 직무 설명을 위한 고품질 텍스트 임베딩을 생성하는 것.
• 영어 및 네덜란드어와 같은 서로 다른 언어로 된 이력서와 공고 간 효과적인 다국어 간 매칭을 가능하게 하는 것.
• TF-IDF 및 표준 BERT 임베딩 기반의 비지도 및 지도 학습 기반 모델보다 매칭 성능을 향상시키는 것.
• 다음 추천 시스템을 위한 임베딩에 있어, 회귀 기반 최적화가 분류 기반 최적화보다 더 유용한 임베딩을 생성하는지 평가하는 것.

제안 방법

• 이력서 및 직무 설명을 밀도 있는 문장 임베딩으로 인코딩하기 위해 다국어 BERT 모델을 시아모이 아키텍처로 미세조정하는 것.
• 레이블이 부여된 이력서-공고 쌍을 기반으로 코사인 유사도 손실 함수와 함께 회귀 목표를 사용해 모델을 최적화하는 것.
• 각 입력(이력서 또는 공고)을 별도로 임베딩하고, 이후 코사인 유사도를 통해 비교하는 양방향 인코더 구조를 사용하는 것.
• Randstad의 채용 기록에서 유래한 실제 세계의 270,000개의 전문가 레이블이 부여된 이력서-공고 쌍으로 구성된 대규모 데이터셋을 활용하는 것.
• 일치하는 쌍에 대해 높은 유사도, 일치하지 않는 쌍에 대해 낮은 유사도를 유도하기 위해 마진 기반 손실을 활용한 대비 학습을 적용하는 것.
• 분류 및 회귀 목표를 모두 사용하여 모델 성능을 평가하고, 후행 랜덤 포레스트 분류를 통해 임베딩 품질을 비교하는 것.

실험 결과

연구 질문

• RQ1 피인수된 시아모이 문장 BERT 모델이 TF-IDF 및 표준 BERT 임베딩보다 이력서와 공고를 매칭하는 데에서 뛰어난 성능을 보일 수 있는가?
• RQ2 코사인 유사도에 대한 회귀 기반 최적화가 분류 기반 최적화보다 직업 매칭을 위한 더 나은 텍스트 임베딩을 생성하는가?
• RQ3 모델이 영어 및 네덜란드어와 같은 서로 다른 언어로 된 이력서와 직무 설명 간에 효과적으로 다국어 간 매칭을 수행할 수 있는가?
• RQ4 모델은 동일 언어 쌍(예: 영어-영어, 네덜란드어-네덜란드어)과 다국어 쌍 모두에서 얼마나 잘 일반화되는가?
• RQ5 학습된 임베딩이 후행 분류 작업을 위한 분류 능력에 있어 구별 가능한 정보를 얼마나 잘 유지하는가?

주요 결과

• 회귀 최적화된 conSultantBERT 모델은 TF-IDF 및 지도 학습 기반 BERT 기반 모델보다 매칭 성능에서 뚜렷한 우월성을 보였다.
• 분류 기반 최적화된 변종에 비해, 회귀 최적화된 모델은 일치하는 이력서-공고 쌍과 일치하지 않는 쌍 간의 코사인 유사도 점수가 더 잘 분리됨을 보였다.
• 모델은 언어 간 어휘 격차를 효과적으로 해소하여, 영어 이력서와 네덜란드어 직무 설명 간의 높은 유사도 점수를 달성했다.
• 다국어 데이터로 훈련된 후에도, 모델은 동일 언어 쌍(예: 영어-영어, 네덜란드어-네덜란드어)에서도 강력한 성능을 유지하며 다국어 처리 능력을 입증했다.
• conSultantBERT 임베딩 기반으로 학습된 랜덤 포레스트 분류기는 높은 정확도를 달성하여, 임베딩이 분류 가능한 의미 정보를 효과적으로 유지하고 있음을 확인했다.
• 모델은 언어 기반 편향의 위험을 줄이며, 언어가 직무 요구 조건이 아닌 한, 이력서 언어에 관계없이 공정한 매칭을 가능하게 한다.