[논문 리뷰] JOBSKAPE: A Framework for Generating Synthetic Job Postings to Enhance Skill Matching

Antoine Magron, Anna Dai외 3명|arXiv (Cornell University)|2024. 02. 05.

Intelligent Tutoring Systems and Adaptive Learning인용 수 2

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 사용하여 ESCO 분류체계와 일치하는 다중 스킬 문장을 포함한 일관성 있는 고품질 합성 직업 공고를 생성하는 프레임워크 JOBSKAPE를 소개한다. 이를 통해 생성된 SKILLSKAPE 데이터셋은 이전의 합성 데이터셋보다 텍스트 품질이 뛰어나며, 실세계 벤치마크에서 지도 학습 기반 보다 뛰어난 성능을 보이는 인-컨텍스트 학습 파이프라인을 가능하게 하여 F1 점수 27.3을 달성한다.

ABSTRACT

Recent approaches in skill matching, employing synthetic training data for classification or similarity model training, have shown promising results, reducing the need for time-consuming and expensive annotations. However, previous synthetic datasets have limitations, such as featuring only one skill per sentence and generally comprising short sentences. In this paper, we introduce JobSkape, a framework to generate synthetic data that tackles these limitations, specifically designed to enhance skill-to-taxonomy matching. Within this framework, we create SkillSkape, a comprehensive open-source synthetic dataset of job postings tailored for skill-matching tasks. We introduce several offline metrics that show that our dataset resembles real-world data. Additionally, we present a multi-step pipeline for skill extraction and matching tasks using large language models (LLMs), benchmarking against known supervised methodologies. We outline that the downstream evaluation results on real-world data can beat baselines, underscoring its efficacy and adaptability.

연구 동기 및 목표

• 스킬 매칭을 위한 실세계 직업 공고의 레이블링에 소요되는 높은 비용과 시간 문제를 해결하기 위해.
• 기존 합성 데이터셋의 한계, 예를 들어 단일 스킬 문장과 낮은 일관성 문제를 해결하기 위해.
• 다양하고 현실적인 다중 스킬을 포함한 직업 공고를 생성하기 위한 확장 가능하고 재사용 가능한 프레임워크를 개발하기 위해.
• 합성 데이터의 성능을 실세계 레이블링 데이터와 비교하여 스킬 매칭 작업에서 평가하기 위해.
• 지속적인 미세조정 대신 지도 학습 모델의 대안으로 대규모 언어 모델을 활용한 인-컨텍스트 학습의 타당성을 탐색하기 위해.

제안 방법

• JOBSKAPE는 사전 정의된 분류체계(예: ESCO)에 기반해 다수의 의미적으로 일관된 스킬을 포함한 직업 공고 문장을 LLM을 사용해 생성한다.
• 생성된 데이터의 문장 일관성과 레이블 품질을 향상시키기 위해 LLM을 활용한 자기 개선(self-refinement) 단계를 적용한다.
• 대규모 언어 모델을 사용한 인-컨텍스트 학습(ICL)을 활용해 직업 설명으로부터 스킬을 추출하고 매칭하는 다단계 파이프라인을 설계한다.
• 다중 스킬 레이블이 부여된 8,000개의 직업 공고로 구성된 대규모 오픈소스 합성 데이터셋인 SKILLSKAPE를 생성한다.
• 합성 데이터의 현실성과 품질을 평가하기 위해 퍼플렉서티와 암묵적 표현 정도와 같은 오프라인 메트릭을 사용한다.
• SKILLSKAPE에서의 지도 학습 미세조정과 실세계 벤치마크에서의 ICL 기반 접근 방식을 비교한다.

실험 결과

연구 질문

• RQ1 다수의 일관성 있는 스킬을 포함한 합성 직업 공고가 기존 합성 데이터셋 대비 스킬 매칭 성능 향상에 기여할 수 있는가?
• RQ2 JOBSKAPE가 생성한 데이터의 텍스트 품질은 일관성과 암묵적 스킬 표현 측면에서 실세계 데이터 및 이전 합성 데이터셋과 비교해 어떻게 다른가?
• RQ3 LLM 기반 인-컨텍스트 학습 파이프라인이 실세계 스킬 매칭 벤치마크에서 지도 학습 기반 방법을 능가할 수 있는가?
• RQ4 JOBSKAPE에서 생성한 합성 데이터로 훈련한 모델이 실세계 평가 데이터로 일반화되는가?
• RQ5 보류된 실세계 데이터에서 평가했을 때, ICL 기반 방법의 성능은 지도 기반 베이스라인과 어떻게 비교되는가?

주요 결과

• SKILLSKAPE 데이터셋은 이전 합성 데이터셋보다 더 높은 텍스트 품질을 보이며, 퍼플렉서티가 낮고 암묵적 스킬 표현이 더 풍부하다.
• 12단어 이상의 긴 직업 공고에 대해 SKILLSKAPE는 F1 점수 0.18을 기록하여 DECORTE 데이터셋의 0.17을 초월한다.
• 인-컨텍스트 학습(ICL) 파이프라인이 실세계 데이터에서 F1 점수 27.3을 달성하여, SKILLSKAPE에서 훈련된 지도 기반 베이스라인(F1 26.1)을 능가한다.
• 12단어 미만의 짧은 문장에서는 SKILLSKAPE에서 미세조정한 지도 모델이 ICL 방법보다 略적으로 우수한 성능을 보이며(F1 0.24 대비 0.26), 다만 차이가 미미하다.
• ICL 기반 방법은 실세계 데이터로 잘 일반화되며 재학습이 필요 없어 강력한 적응 능력을 보인다.
• 이 프레임워크는 합성 이력서 생성과 같은 다른 도메인으로도 확장 가능하여 스킬 격차 분석 및 공정한 직업 매칭에 기여할 수 있다.