[論文レビュー] Kompetencer: Fine-grained Skill Classification in Danish Job Postings via Distant Supervision and Transfer Learning

Mike Zhang, Kristian Nørgaard Jensen+1 more|IT University Of Copenhagen (IT University of Copenhagen)|May 3, 2022

Higher Education Learning Practices被引用数 8

ひとこと要約

本稿では、ESCO分類体系を用いた遠隔監視により、スキルおよび知識コンponentsのスパンレベルのアノテーションを備えた、初めてのデンマーク語の求人広告データセット「Kompetencer」を紹介する。ドメイン適応型RemBERTが、ゼロショットおよびフェイントショットの転移学習設定の両方で、すべてのモデルを上回り、デンマーク語のスキル分類タスクにおいて、ゼロショットで重み付きマクロF1スコア0.354、フェイントショットで0.472を達成した。

ABSTRACT

Skill Classification (SC) is the task of classifying job competences from job postings. This work is the first in SC applied to Danish job vacancy data. We release the first Danish job posting dataset: Kompetencer (en: competences), annotated for nested spans of competences. To improve upon coarse-grained annotations, we make use of The European Skills, Competences, Qualifications and Occupations (ESCO; le Vrang et al., 2014) taxonomy API to obtain fine-grained labels via distant supervision. We study two setups: The zero-shot and few-shot classification setting. We fine-tune English-based models and RemBERT (Chung et al., 2020) and compare them to in-language Danish models. Our results show RemBERT significantly outperforms all other models in both the zero-shot and the few-shot setting.

研究の動機と目的

• 英語以外の労働市場データ、特にデンマーク語において、多言語的かつ細分化されたスキル分類の不足を解消すること。
• デンマーク語の求人広告におけるスキルおよび知識コンponents（SKCs）の高品質なスパンレベルのアノテーションデータセットを構築すること。
• ドメイン適応型BERTモデルを用いて、英語からデンマーク語へのゼロショットおよびフェイントショットのクロスリンガル転移学習を検討すること。
• ESCO APIを介した遠隔監視が、細分化されたスキル分類のための信頼性のある「シルバー」ラベルを生成する有効性を評価すること。
• 言語内デンマーク語モデルとクロスリンガル転移モデル（ドメイン適応型および多言語BERTバージョンを含む）を比較すること。

提案手法

• ネストされたスパンとしてのスキルおよび知識コンポonents（SKCs）を60件のデンマーク語求人広告に対してアノテートし、ゴールドスタンダードデータセットを構築する。
• ESCO分類体系APIを用いて、アノテートされたSKCスパンを遠隔監視により細分化されたESCOラベルに自動マッピングし、「シルバー」ラベルを生成する。
• 多言語および言語内BERTモデル（ドメイン適応型デンマーク語BERTおよびRemBERTを含む）を、遠隔監視で生成されたデータ上で微調整する。
• ゼロショット（英語の事前学習 → デンマーク語の推論）およびフェイントショット（少量のデンマーク語例での微調整）の両設定で、モデルを訓練および評価する。
• ラベル品質を評価するための人的評価を実施し、英語およびデンマーク語サブセットにおける正確性を報告する。
• 2450万件のデンマーク語求人広告を用いてドメイン適応的事前学習を実施し、言語内性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ESCO APIを介した遠隔監視は、デンマーク語の求人広告におけるスキル分類のための信頼性のある細分化ラベルを効果的に生成できるか？
• RQ2 英語BERTモデルからのクロスリンガルゼロショット転移と、言語内デンマーク語モデルのスキル分類性能を比較すると、どちらが優れているか？
• RQ3 デンマーク語の求人広告を用いたドメイン適応的事前学習は、スキル分類タスクにおけるモデル性能を向上させるか？
• RQ4 少量のデンマーク語求人広告に対して、多言語モデルのフェイントショット微調整はどの程度効果的か？
• RQ5 モデルアーキテクチャ（例：RemBERT対標準BERT）が、デンマーク語スキル分類におけるゼロショットおよびフェイントショット性能に与える影響は何か？

主な発見

• 60件のデンマーク語求人広告に665件のスキルスパンおよび255件の知識スパンを含むKompetencerデータセットは、デンマーク語スキル分類のための、公開済みで高品質なスパンレベルのアノテーションデータセットとして、初めてのものである。
• 人的評価の結果、遠隔監視ラベルはデンマーク語開発セットで70.4%の正確性、テストセットで14.1%の正確性を示した。これはゴールドスタンダードの補正が必要であることを示唆している。
• RemBERTはゼロショットおよびフェイントショットの両設定で最高のパフォーマンスを示し、それぞれ重み付きマクロF1スコアが0.354 ± 0.021および0.472 ± 0.014を達成した。
• 2450万件のデンマーク語求人広告を用いたドメイン適応的事前学習は、特にリソースが限られた状況下で、モデル性能を顕著に向上させた。
• RemBERTを介した英語からデンマーク語へのクロスリンガル転移は、標準英語BERTおよび言語内デンマーク語モデルの両方を、両評価設定で上回った。
• 本研究では、技術的スキル（例：ReactJS、AWS）が頻繁にESCO分類体系に存在しないため、遠隔監視によるラベルの欠落が生じていることが判明した。