[論文レビュー] SkillSpan: Hard and Soft Skill Extraction from English Job Postings

Mike Zhang, Kristian Nørgaard Jensen+2 more|arXiv (Cornell University)|Apr 27, 2022

Topic Modeling参考文献 41被引用数 7

ひとこと要約

本稿では、専門家によるアノテーションを経て作成された14.5K件の求人募集文に、12.5K件のハードスキルおよびソフトスキルのスパンがアノテートされた新しいデータセットSkillSpanを紹介する。ドメイン適応型BERTモデルを求人募集文で微調整した結果、標準BERTよりもドメイン適応型事前学習が性能を著しく向上させることを示した。一方、単一タスク学習がマルチタスク学習を上回った。

ABSTRACT

Skill Extraction (SE) is an important and widely-studied task useful to gain insights into labor market dynamics. However, there is a lacuna of datasets and annotation guidelines; available datasets are few and contain crowd-sourced labels on the span-level or labels from a predefined skill inventory. To address this gap, we introduce SKILLSPAN, a novel SE dataset consisting of 14.5K sentences and over 12.5K annotated spans. We release its respective guidelines created over three different sources annotated for hard and soft skills by domain experts. We introduce a BERT baseline (Devlin et al., 2019). To improve upon this baseline, we experiment with language models that are optimized for long spans (Joshi et al., 2020; Beltagy et al., 2020), continuous pre-training on the job posting domain (Han and Eisenstein, 2019; Gururangan et al., 2020), and multi-task learning (Caruana, 1997). Our results show that the domain-adapted models significantly outperform their non-adapted counterparts, and single-task outperforms multi-task learning.

研究の動機と目的

• 求人募集文におけるスキル抽出のための高品質で専門家がアノテートしたデータセットの不足に対処すること。
• ネスト構造を含む、ハードスキルおよびソフトスキルの包括的なアノテーションガイドラインの開発。
• ドメイン適応型言語モデルのスキル抽出への有効性を評価すること、特に長スパンに対する効果を検証すること。
• スキルおよび知識コンポonent抽出のための単一タスク学習とマルチタスク学習の設定を比較すること。
• スキル抽出分野における再現可能で持続可能な研究を支援するため、SkillSpanデータセット、アノテーションガイドライン、コードの公開。

提案手法

• 著者らは英語の求人募集文から14.5K件の文を収集し、ドメイン専門家を用いてスパンレベルでハードスキルおよびソフトスキルをアノテートした。
• スキル（S）と知識コンポーネント（K）を区別する詳細なアノテーションガイドラインを開発し、ネスト構造を含む。
• SkillSpanデータセットでBERTベースのモデルを微調整し、長スパンに最適化されたモデルと、求人募集文に特化したテキストで事前学習されたモデルを検証した。
• 求人募集文ドメインのデータを用いた継続的事前学習を実施し、スキル抽出と知識コンポーネント抽出を同時に学習するマルチタスク学習のアプローチを検討した。
• 標準的なNER評価指標（精度、再現率、F1スコア）を用いてモデルを評価し、複数のランダムシードにおける統計的有意性を確認するASOテストを適用した。
• 再現可能性とコミュニティの再利用を支援するため、データセット、ガイドライン、コードを公開した。

実験結果

リサーチクエスチョン

• RQ1 求人募集文に特化したドメイン適応型事前学習は、標準BERTと比較してスキル抽出性能にどのように影響するか？
• RQ2 長スパンに最適化されたモデルで微調整することで、求人募集文における複雑なスキルスパンの抽出が向上するか？
• RQ3 スキルと知識コンポーネントの抽出を同時に学習するマルチタスク学習は、単一タスク学習よりも効果的か？
• RQ4 専門家がアノテートしたスパンは、通常のNERタスクと比較して長さと複雑さの点でどのように異なるか？
• RQ5 提案されたデータセットとアノテーション方式は、新規または非標準のスキルのカバレッジをどの程度向上させるか？

主な発見

• ドメイン適応型BERTモデルは、標準BERTベースラインを著しく上回り、求人募集文に特化したテキストでの事前学習の価値を示した。
• 長スパンに最適化されたモデルは、標準BERTに比べて性能が低かった。これは、この文脈で長スパンのスキルを処理する上での課題を示唆している。
• 単一タスク学習がマルチタスク学習を上回った。これは、スキルと知識コンポーネントの両方を同時に最適化することが、この設定では有益でない可能性を示している。
• SkillSpanにおけるスキルおよび知識コンポーネントの平均スパン長は、通常のNERタスクよりも顕著に長く、より高い複雑さを反映している。
• データセットには391件の求人募集文にまたがり、12,500件を超えるアノテート済みスパンが含まれており、ソフトスキルやドメイン固有の知識コンポーネントが頻出している。
• データセット、ガイドライン、コードの公開により、将来的なスキル抽出分野の研究が促進され、再現可能なベンチマークが実現可能になった。