[논문 리뷰] Large Language Models as Batteries-Included Zero-Shot ESCO Skills Matchers

Benjamin Clavié, Guillaume Soulié|arXiv (Cornell University)|2023. 07. 07.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 대규모 언어 모델(LM)을 활용해 13,890개의 ESCO 스킬을 포함하는 ESCO 분류 체계에 대한 직무 기술 스킬 매칭을 위한 제로샷, 엔드 투 엔드 파이프라인을 제안한다. GPT-3.5를 활용해 13,890개의 ESCO 스킬에 대해 합성 학습 데이터를 생성하고, 임bedding 기반 후보 검색과 GPT-4 재순서 정렬을 포함한 이중 단계 접근 방식을 사용하여 인간의 주석 없이도 기존 방법 대비 RP@10에서 22점 이상 향상된 성능을 달성한다.

ABSTRACT

Understanding labour market dynamics requires accurately identifying the skills required for and possessed by the workforce. Automation techniques are increasingly being developed to support this effort. However, automatically extracting skills from job postings is challenging due to the vast number of existing skills. The ESCO (European Skills, Competences, Qualifications and Occupations) framework provides a useful reference, listing over 13,000 individual skills. However, skills extraction remains difficult and accurately matching job posts to the ESCO taxonomy is an open problem. In this work, we propose an end-to-end zero-shot system for skills extraction from job descriptions based on large language models (LLMs). We generate synthetic training data for the entirety of ESCO skills and train a classifier to extract skill mentions from job posts. We also employ a similarity retriever to generate skill candidates which are then re-ranked using a second LLM. Using synthetic data achieves an RP@10 score 10 points higher than previous distant supervision approaches. Adding GPT-4 re-ranking improves RP@10 by over 22 points over previous methods. We also show that Framing the task as mock programming when prompting the LLM can lead to better performance than natural language prompts, especially with weaker LLMs. We demonstrate the potential of integrating large language models at both ends of skills matching pipelines. Our approach requires no human annotations and achieve extremely promising results on skills extraction against ESCO.

연구 동기 및 목표

• 13,000개가 넘는 스킬을 포함하는 대규모이고 세분화된 ESCO 분류 체계에 대해 제로샷 스킬 매칭 문제를 해결하기 위해.
• 비용이 많이 들는 인간 주석 데이터셋에 의존하지 않고, LLM을 통해 생성된 합성 데이터를 활용해 스킬 매칭을 위한 후보 생성을 향상시키기 위해.
• 두 단계 스킬 매칭 파이프라인의 최종 단계에서 LLM을 제로샷 재순서 정렬기로 사용할 수 있는지 평가하기 위해.
• 재순서 정렬 작업을 가짜 프로그래밍 문제로 프레임링하는 것이, 특히 더 약한 LLM에서 성능 향상에 기여하는지 조사하기 위해.
• LLM이 합성 데이터 생성기와 고성능 재순서 정렬기로 기능할 수 있음을 입증하여, 스케일러블하고 통합된 파이프라인을 제공하기 위해.

제안 방법

• GPT-3.5를 프롬프팅하여 모든 13,890개의 ESCO 스킬을 포함하는 다양한 실제적인 직무 기술 기반의 합성 학습 데이터를 생성한다.
• 밀도 있는 검색 모델(e5)을 사용해 의미적 유사도 기반으로 직무 공고에서 초기 후보 스킬 매칭을 생성한다.
• 합성 데이터를 기반으로 선형 분류기를 훈련시어, 직무 텍스트 내 잠재적 스킬 언급을 예측한다.
• GPT-4가 프롬프트 기반 지시사항에 따라 관련성 평가를 수행하고, 관련성에 따라 후보 목록을 재순서 정렬한다.
• 특히 더 약한 모델에서의 추론 능력과 지시사항 준수 능력을 향상시키기 위해, 재순서 정렬 작업을 '매칭 스킬 목록을 반환하라'와 같은 가짜 프로그래밍 문제로 프레임링한다.
• 합성 데이터 훈련, 임bedding 기반 검색, LLM 기반 재순서 정렬을 포함한 엔드 투 엔드 제로샷 설정에서 통합된 파이프라인을 구성한다.

Figure 1: High-level overview of the full process.

실험 결과

연구 질문

• RQ1 LLM이 고품질의 합성 학습 데이터를 생성하여 ESCO 분류 체계에서 제로샷 스킬 매칭 성능을 크게 향상시킬 수 있는가?
• RQ2 후보 생성 후 LLM 기반 재순서 정렬을 포함한 이중 단계 파이프라인은 단일 단계 접근 방식보다 더 나은 성능을 내는가?
• RQ3 재순서 정렬 작업을 가짜 프로그래밍 문제로 프레임링하면, 특히 성능이 떨어지는 LLM에서 성능 향상이 이루어지는가?
• RQ4 RP@10 기준으로 이 방법은 이전의 원격 감독 및 약한 감독 방법과 비교해 어떻게 성능를 내는가?
• RQ5 GPT-4를 제로샷 재순서 정렬기로 사용하는 것이 전체 성능 향상에 얼마나 기여하는가?

주요 결과

• GPT-3.5가 생성한 합성 데이터를 사용함으로써 이전의 원격 감독 방법 대비 RP@10 점수가 10점 향상된다.
• GPT-4를 제로샷 재순서 정렬기로 추가함으로써 이전 최고 수준의 방법 대비 RP@10 점수가 22점 이상 향상된다.
• 재순서 정렬 작업을 가짜 프로그래밍 문제로 프레임링하면, 특히 더 약한 LLM을 사용할 경우 성능 향상이 뚜렷하게 나타난다.
• 인간 주석 데이터가 전혀 필요 없이 합성 데이터와 제로샷 LLM 능력에만 의존하여 뛰어난 성능을 달성한다.
• 분류기 및 검색 기반 후보 생성과 LLM 기반 재순서 정렬을 포함한 이중 단계 파이프라인은 자원이 제한된 환경에서 극단적 다중 레이블 분류에 매우 효과적임을 입증한다.
• 이 방법은 확장 가능하고 일반화 가능하며, 엔드 투 엔드 직무 추천 시스템에 통합될 잠재력을 지닌다.