[論文レビュー] Skill Extraction from Job Postings using Weak Supervision

Mike Zhang, Kristian Nørgaard Jensen+2 more|IT University Of Copenhagen (IT University of Copenhagen)|Sep 16, 2022

Topic Modeling参考文献 16被引用数 6

ひとこと要約

本稿では、ESCO分類法のスキルの埋め込みを弱教師信号として用いることで、求人広告からのスキル抽出のための弱教師付き手法を提案する。文脈的埋め込み（例：RoBERTa）とコサイン類似度を活用し、求人広告内の候補スパンをESCOスキルにマッチングすることで、特にローブス-F1（Sayfullinaでは最大59.61）において優れた性能を達成した。これは、ESCOがアノテーションを要せず効果的な信号として機能できることを示している。

ABSTRACT

Aggregated data obtained from job postings provide powerful insights into labor market demands, and emerging skills, and aid job matching. However, most extraction approaches are supervised and thus need costly and time-consuming annotation. To overcome this, we propose Skill Extraction with Weak Supervision. We leverage the European Skills, Competences, Qualifications and Occupations taxonomy to find similar skills in job ads via latent representations. The method shows a strong positive signal, outperforming baselines based on token-level and syntactic patterns.

研究の動機と目的

• 高コストかつ手間のかかる教師ありスキル抽出の課題を解決するため、高価な人工作業によるアノテーションを弱教師付き学習に置き換える。
• ヨーロッパのスキル、能力、資格、職業（ESCO）分類法が、スキル抽出のための実用的で効果的な弱教師信号として機能するかを調査する。
• 求人広告内のスキルフレーズをESCOスキルにマッチングするための、さまざまな埋め込みプーリング戦略と表現手法を評価する。
• ESCOスキルの言語的パターンと、現実の求人広告との整合性を分析する。
• 2つのベンチマークデータセット（SayfullinaとSkillSpan）において、厳密基準と緩い基準のF1スコアを用いて、弱教師付きスキル抽出の性能を評価する。

提案手法

• 事前学習済み言語モデル（例：RoBERTaやJobBERT）を用いて、すべてのスキルを埋め込むことで、ESCO分類法（13,890スキル）を弱教師信号として活用する。
• 求人広告から候補となるn-gramを抽出し、同じ言語モデルを用いて文脈的表現を生成する。
• 候補スパンとESCOスキルを、その密度ベクトル表現間のコサイン類似度でマッチングする：$\text{CosSim}(\vec{t},\vec{g}) = \frac{\vec{t}^T\vec{g}}{\|\vec{t}\|\|\vec{g}\|}$。
• 負例を含むデータセット（例：SkillSpan）では、'スキルなし'の予測を許容するため、閾値（CosSim = 0.8）を適用し、精度と再現率のトレードオフを最適化する。
• 正確一致、語形還元、品詞タグ、およびプーリング手法（ISO、AOC、WSE）を用いた複数の埋め込み戦略を比較する。
• RoBERTaおよびJobBERTをデータセット上で微調整し、弱教師付き性能を完全教師ありベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 ESCO分類法は、求人広告からのスキル抽出のための効果的な弱教師信号として機能できるか？
• RQ2 さまざまな埋め込みプーリング戦略（ISO、AOC、WSE）は、スキル抽出の性能にどのような影響を与えるか？
• RQ3 文脈的埋め込み（例：RoBERTa、JobBERT）を用いることで、語彙的・言語的ベースラインと比較してF1スコアにどのような影響があるか？
• RQ4 負例（スキルを含まない文）が存在するデータセット（例：SkillSpan）では、完全に正例のみのデータセット（例：Sayfullina）と比較して、性能にどのような影響を与えるか？
• RQ5 予測されたスキルスパンと正解スパンとの間で、部分一致および完全一致の重複度合いはどの程度か？

主な発見

• ESCO埋め込みを用いた弱教師付き手法（WSE）は、Sayfullinaデータセットで最高のローブス-F1スコア59.61を達成し、すべてのベースラインを上回った。
• より困難なSkillSpanデータセットでは、JobBERTにWSEを適用した結果、52.69のローブス-F1を達成し、RoBERTa（48.70）および他の手法を上回った。
• RoBERTaはSayfullinaで91.31の厳密F1および98.55のローブス-F1を達成しており、負例のない完全な正例データセットにおいて優れた性能を示した。
• JobBERTはSkillSpanで74.41のローブス-F1を達成し、RoBERTaを上回った。これは、負例を含むデータセットにおいてより優れた一般化性能を示している。
• 両方のデータセットにおいて、厳密F1とローブス-F1の差が顕著に現れ、予測スパンと正解スパンの間で顕著な部分一致が確認された。
• SkillSpanにおいてCosSim = 0.8で閾値を設定したことで、精度と再現率のバランスが最適化され、RoBERTaの性能はこの閾値までほとんど変動しなかった。