[논문 리뷰] Skill Extraction from Job Postings using Weak Supervision

Mike Zhang, Kristian Nørgaard Jensen외 2명|IT University Of Copenhagen (IT University of Copenhagen)|2022. 09. 16.

Topic Modeling참고 문헌 16인용 수 6

한 줄 요약

이 논문은 ESCO 분류체계의 스킬 임베딩를 약한 감독 신호로 사용하여 직업 공고에서 스킬 추출을 위한 약한 지도 학습 방법을 제안한다. 컨텍스트 임베딩(예: RoBERTa)과 코사인 유사도를 활용해 직업 광고의 후보 스퍼널을 ESCO 스킬에 매칭함으로써 뛰어난 성능을 달성한다—특히 loose-F1에서 높은 성능(예: Sayfullina에서 최대 59.61)을 보이며, ESCO가 스킬 추출에 효과적이고 애너테이션 없이도 활용 가능한 신호가 될 수 있음을 시사한다.

ABSTRACT

Aggregated data obtained from job postings provide powerful insights into labor market demands, and emerging skills, and aid job matching. However, most extraction approaches are supervised and thus need costly and time-consuming annotation. To overcome this, we propose Skill Extraction with Weak Supervision. We leverage the European Skills, Competences, Qualifications and Occupations taxonomy to find similar skills in job ads via latent representations. The method shows a strong positive signal, outperforming baselines based on token-level and syntactic patterns.

연구 동기 및 목표

• 고비용 및 고노력의 지도 학습 기반 스킬 추출 문제를 해결하기 위해, 비용이 많이 드는 인간 애너테이션 대신 약한 지도 학습을 도입하고자 한다.
• 유럽의 스킬, 능력, 자격 및 직업(ESCO) 분류체계가 스킬 추출에 실용적인 약한 지도 학습 신호로 기능할 수 있는지 탐구하고자 한다.
• 직업 공고의 스킬 표현어를 ESCO 스킬에 매칭하기 위한 다양한 임베딩 풀링 전략과 표현 방법의 성능을 평가하고자 한다.
• ESCO 스킬의 언어적 패턴과 실제 직업 공고와의 일치도를 분석하고자 한다.
• 두 가지 벤치마크 데이터셋(Sayfullina 및 SkillSpan)에서 엄격한 및 느슨한 F1 지표를 기준으로 약한 지도 학습 기반 스킬 추출의 성능을 평가하고자 한다.

제안 방법

• RoBERTa 및 JobBERT와 같은 사전 학습된 언어 모델을 사용해 ESCO 분류체계의 모든 스킬(13,890개)을 임베딩함으로써 약한 지도 학습 신호로 활용한다.
• 직업 공고에서 후보 n-그램을 추출하고, 동일한 언어 모델을 사용해 컨텍스트 기반 표현을 생성한다.
• 후보 스퍼널을 ESCO 스킬에 매칭하기 위해 밀도 벡터 표현 간 코사인 유사도를 활용한다: $\text{CosSim}(\vec{t},\vec{g}) = \frac{\vec{t}^T\vec{g}}{\|\vec{t}\|\|\vec{g}\|}$.
• 음성 예제가 포함된 데이터셋(예: SkillSpan)에서 '스킬 없음' 예측을 허용하기 위해 임계값(CosSim = 0.8)을 적용하여 정밀도와 재현율 간의 균형을 최적화한다.
• 다양한 임베딩 전략을 사용: 정확한 일치, 어간 추출, 품사 태깅, 풀링 방법(ISO, AOC, WSE)을 비교하여 성능을 분석한다.
• RoBERTa 및 JobBERT를 데이터셋에 맞게 미세조정하여 약한 지도 학습 성능을 완전 지도 학습 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 ESCO 분류체계는 직업 공고에서 스킬 추출에 효과적인 약한 지도 학습 신호로 기능할 수 있는가?
• RQ2 다양한 임베딩 풀링 전략(ISO, AOC, WSE)은 스킬 추출 성능에 어떤 영향을 미치는가?
• RQ3 문맥 기반 임베딩(RoBERTa, JobBERT 등)을 사용할 경우, 어휘적 또는 언어학적 기반 베이스라인 대비 F1 점수에 어떤 영향을 미치는가?
• RQ4 음성 예제가 존재하는 데이터셋(SkillSpan)은 음성 예제가 없는 완전히 양성인 데이터셋(Sayfullina)과 비교해 성능에 어떤 영향을 미치는가?
• RQ5 예측된 스킬 스퍼널이 골드 표준 스퍼널과 부분 일치나 완전 일치 수준에서 얼마나 겹치는가?

주요 결과

• ESCO 임베딩를 활용한 약한 지도 학습 방법(WSE)이 Sayfullina 데이터셋에서 최고의 loose-F1 점수 59.61을 기록하며 모든 베이스라인을 압도했다.
• 더 어려운 SkillSpan 데이터셋에서는 JobBERT와 WSE 조합이 52.69의 loose-F1 점수를 기록하여 RoBERTa(48.70) 및 다른 방법들을 능가했다.
• RoBERTa가 Sayfullina에서 91.31의 엄격한 F1 및 98.55의 느슨한 F1 점수를 기록하여, 음성 예제가 없는 완전히 양성인 데이터셋에서 뛰어난 성능을 보였다.
• JobBERT가 SkillSpan에서 74.41의 느슨한 F1 점수를 기록하며 RoBERTa를 능가했으며, 음성 예제가 포함된 데이터셋에서 더 우수한 일반화 능력을 보였다.
• 두 데이터셋 모두에서 엄격한 F1과 느슨한 F1 간 성능 격차가 뚜렷하여, 예측된 스퍼널과 골드 표준 스퍼널 간에 상당한 부분 일치가 존재함을 시사했다.
• SkillSpan에서 CosSim = 0.8로 임계값을 설정함으로써 정밀도와 재현율 간 최적의 균형을 확보했으며, RoBERTa의 경우 이 임계값 이하에서 성능 변동이 최소한이었다.