[논문 리뷰] Kompetencer: Fine-grained Skill Classification in Danish Job Postings via Distant Supervision and Transfer Learning

Mike Zhang, Kristian Nørgaard Jensen외 1명|IT University Of Copenhagen (IT University of Copenhagen)|2022. 05. 03.

Higher Education Learning Practices인용 수 8

한 줄 요약

이 논문은 기술 및 지식 구성 요소에 대한 스파이크 수준의 주석이 있는 첫 번째 덴마크어 직업 공고 데이터셋인 Kompetencer를 소개한다. 이는 ESCO 분류체계를 통해 원격 감독을 활용하여 세분화된 레이블을 생성한다. 도메인에 적합한 RemBERT 모델이 영어에서 덴마크어로의 전이 학습 설정에서 모든 다른 모델보다 뛰어난 성능을 보이며, 덴마크어 기술 분류 작업에서 0-샷 설정에서 가중 매크로-F1 점수 0.354, 소수의 샘플을 사용한 1-샷 설정에서 0.472를 기록한다.

ABSTRACT

Skill Classification (SC) is the task of classifying job competences from job postings. This work is the first in SC applied to Danish job vacancy data. We release the first Danish job posting dataset: Kompetencer (en: competences), annotated for nested spans of competences. To improve upon coarse-grained annotations, we make use of The European Skills, Competences, Qualifications and Occupations (ESCO; le Vrang et al., 2014) taxonomy API to obtain fine-grained labels via distant supervision. We study two setups: The zero-shot and few-shot classification setting. We fine-tune English-based models and RemBERT (Chung et al., 2020) and compare them to in-language Danish models. Our results show RemBERT significantly outperforms all other models in both the zero-shot and the few-shot setting.

연구 동기 및 목표

• 영어 외의 언어에서의 다국어 및 세분화된 기술 분류 부족 문제를 해결하기 위해, 특히 덴마크어 노동시장 데이터를 대상으로 한다.
• 덴마크어 직업 공고에서 기술 및 지식 구성 요소(SKCs)에 대한 고품질의 스파이크 수준 주석 데이터셋을 구축한다.
• 도메인에 적합한 BERT 모델을 활용하여 영어에서 덴마크어로의 0-샷 및 소수의 샘플을 활용한 1-샷 다국어 전이 학습을 탐색한다.
• ESCO API를 통한 원격 감독이 세분화된 기술 분류를 위한 신뢰할 수 있는 '실버' 레이블 생성에 효과적인지 평가한다.
• 도메인에 적합한 BERT 및 다국어 BERT 변형 모델을 포함한 언어 내 모델과 다국어 전이 모델을 비교한다.

제안 방법

• 60개의 덴마크어 직업 공고에서 기술 및 지식 구성 요소(SKCs)에 대한 중첩 스파이크를 주석 처리하여 골드 표준 데이터셋을 구축한다.
• ESCO 분류체계 API를 사용하여 주석 처리된 SKC 스파이크를 원격 감독을 통해 세분화된 ESCO 레이블로 자동 매핑하여 '실버' 레이블을 생성한다.
• 다국어 및 언어 내 BERT 모델, 특히 도메인에 적합한 덴마크어 BERT 및 RemBERT를 원격 감독 데이터에 대해 미세 조정한다.
• 모델을 0-샷(영어 사전 훈련 → 덴마크어 추론) 및 소수의 샘플로 미세 조정하는 1-샷 설정에서 훈련 및 평가한다.
• 레이블 품질을 평가하기 위해 인간 평가를 실시하며, 영어 및 덴마크어 서브셋에서의 정확도를 보고한다.
• 2,450만 개의 덴마크어 직업 공고를 대상으로 도메인 적응형 사전 훈련을 수행하여 언어 내 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 ESCO API를 통한 원격 감독이 덴마크어 직업 공고의 기술 분류에 대해 신뢰할 수 있는 세분화된 레이블을 효과적으로 생성할 수 있는가?
• RQ2 영어 BERT 모델에서의 0-샷 다국어 전이 학습이 언어 내 덴마크어 모델보다 기술 분류에서 어떻게 성능을 냈는가?
• RQ3 덴마크어 직업 공고에서의 도메인 적응형 사전 훈련이 기술 분류 작업 성능에 어떻게 기여하는가?
• RQ4 소수의 덴마크어 직업 공고에서 다국어 모델의 1-샷 미세 조정은 얼마나 효과적인가?
• RQ5 모델 아키텍처(예: RemBERT 대비 표준 BERT)가 덴마크어 기술 분류의 0-샷 및 1-샷 성능에 어떤 영향을 미치는가?

주요 결과

• 60개의 덴마크어 직업 공고에 665개의 기술 스파이크와 255개의 지식 스파이크를 포함한 Kompetencer 데이터셋은 덴마크어 기술 분류를 위한 공개된 첫 번째 고품질 스파이크 수준 주석 데이터셋이다.
• 인간 평가 결과, 원격 감독 레이블이 덴마크어 개발 세트에서 70.4%의 정확도, 테스트 세트에서 14.1%의 정확도를 기록하여 골드 표준 보정이 필요함을 시사한다.
• RemBERT는 0-샷 설정에서 가중 매크로-F1 점수 0.354 ± 0.021, 1-샷 설정에서 0.472 ± 0.014를 기록하며 모든 설정에서 최고 성능을 보였다.
• 2,450만 개의 덴마크어 직업 공고를 대상으로 한 도메인 적응형 사전 훈련은 특히 자원이 제한된 환경에서 모델 성능을 크게 향상시켰다.
• RemBERT를 통한 영어에서 덴마크어로의 다국어 전이 학습은 영어 기반 표준 BERT 및 언어 내 덴마크어 모델을 모두 초월하여 두 평가 설정 모두에서 뛰어난 성능을 보였다.
• 본 연구는 기술 스킬(예: ReactJS, AWS)이 자주 ESCO 분류체계에 누락되어 원격 감독에서 레이블 누락이 발생함을 드러냈다.