[논문 리뷰] Extreme Multi-Label Skill Extraction Training using Large Language Models

Jens-Joris Decorte, Severine Verlinden외 4명|arXiv (Cornell University)|2023. 07. 20.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델(LLM)이 생성한 합성 데이터와 대조 학습을 활용하여 극단적 다중 레이블 스킬 추출 모델을 비용 효율적으로 훈련시키는 방법을 제안한다. ESCO 온톨로지 기반으로 138만 개의 합성 (스킬, 직업 공고 문장) 쌍을 생성하고 새로운 증강 전략을 적용함으로써, 원거리 감독 기반 베이스라인 대비 R-Precision@5에서 15–25%p 향상된 성능을 달성하였으며, 실제 기술 설명어를 사용해 훈련한 모델조차도 능가하였다.

ABSTRACT

Online job ads serve as a valuable source of information for skill requirements, playing a crucial role in labor market analysis and e-recruitment processes. Since such ads are typically formatted in free text, natural language processing (NLP) technologies are required to automatically process them. We specifically focus on the task of detecting skills (mentioned literally, or implicitly described) and linking them to a large skill ontology, making it a challenging case of extreme multi-label classification (XMLC). Given that there is no sizable labeled (training) dataset are available for this specific XMLC task, we propose techniques to leverage general Large Language Models (LLMs). We describe a cost-effective approach to generate an accurate, fully synthetic labeled dataset for skill extraction, and present a contrastive learning strategy that proves effective in the task. Our results across three skill extraction benchmarks show a consistent increase of between 15 to 25 percentage points in extit{R-Precision@5} compared to previously published results that relied solely on distant supervision through literal matches.

연구 동기 및 목표

• 직업 공고에서 극단적 다중 레이블 스킬 추출을 위한 대규모 고품질 레이블 데이터셋의 부족 문제를 해결하기 위해.
• ESCO 온톨로지에 기반한 LLM을 활용한 완전히 합성된 데이터 생성 파이프라인을 비용 효율적으로 개발하기 위해.
• 임베딩 공간에서 문장과 스킬 표현을 정렬하는 대조 학습을 통해 스킬 추출 성능을 향상시키기 위해.
• 모델 일반화 능력을 향상시키는 단순하면서도 효과적인 데이터 증강 전략을 도입하기 위해.
• 미래 연구를 지원하기 위해 ESCO 온톨로지의 99.5%를 커버하는 종합적인 138만 개 (스킬, 문장) 데이터셋을 공개하기 위해.

제안 방법

• 스킬의 ESCO 온톨로지 및 그 설명에 기반하여 LLM을 활용해 138만 개의 합성 직업 공고 문장을 생성한다.
• 스킬 이름과 해당 합성 문장을 동일한 벡터 공간에 임bedding하기 위해, 문장-변환기 비에이전 모델을 대조 학습을 통해 미세조정한다.
• 각 (스킬, 문장) 쌍을 무작위로 관련 없는 문장과 연결하는 증강 기법을 적용하여, 모델이 관련 맥락에 집중하도록 유도한다.
• 배치 내에서 양성 (스킬, 문장) 쌍 간의 거리를 최소화하고 부정성 쌍 간의 거리를 최대화하기 위해 대조 손실을 최적화한다.
• 설명 가능성과 후속 추론을 위해 토큰 임베딩의 평균을 최종 문장 표현으로 사용한다.
• MRR과 R-Precision@5를 평가 지표로 사용하여, TECH, HOUSE, 그리고 기업 내부의 기술적 데이터셋인 TECHWOLF 세 가지 벤치마크에서 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 대규모 레이블 데이터셋이 존재하지 않을 경우, LLM이 생성한 합성 데이터가 실제 데이터보다 스킬 추출 성능에서 뛰어나게 되는가?
• RQ2 문장 전체에 대해 대조 학습을 적용할 경우, 텍스트 스트립 기반 방법에 비해 스킬 추출 성능이 향상되는가?
• RQ3 훈련 중에 관련 없는 문장을 연결하는 단순한 데이터 증강 전략의 효과는 어떠한가?
• RQ4 스킬당 하나의 합성 문장만으로도 ESCO 스킬 설명어를 기반으로 훈련한 모델를 능가할 수 있는가?
• RQ5 스킬당 합성 문장의 수를 늘릴수록 모델 성능 향상 정도는 어느 정도인가?

주요 결과

• 제안된 방법은 문장 일치 기반 원거리 감독 기반 베이스라인 대비 R-Precision@5에서 15–25%p 향상된 성능을 달성하였다.
• 스킬당 하나의 합성 문장만으로도 ESCO 스킬 설명어를 기반으로 훈련한 모델를 능가하여 LLM이 생성한 데이터의 품질을 입증하였다.
• GPT가 생성한 문장을 사용하고 증강 기법을 적용한 모델은 TECH 벤치마크에서 54.62의 R-Precision@5, TECHWOLF에서는 54.57, HOUSE에서는 45.74를 기록하였다.
• 증강 전략은 모든 벤치마크에서 일관되게 성능 향상을 이끌었으며, 특히 TECHWOLF 세트에서 가장 높은 성과 향상을 보였다 (46.50에서 52.55로 상승).
• 더 많은 훈련 데이터를 사용할수록 성능이 향상되지만, 스킬당 하나의 문장만으로도 설명어 기반 훈련 모델보다 뛰어난 성능을 보였다.
• 합성 데이터 기반 훈련 모델이 실제 데이터에 대해 미세조정된 all-mpnet-base-v2 모델의 성능을 초월하여, 합성 데이터 생성 및 대조 학습 파이프라인의 효과성을 입증하였다.