[論文レビュー] Design of Negative Sampling Strategies for Distantly Supervised Skill Extraction

Jens-Joris Decorte, Jeroen Van Hautte+3 more|arXiv (Cornell University)|Sep 13, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、暗黙的に言及されたスキルの検出を向上させるために、ハードネガティブサンプリング戦略を用いた距離監視ベースのエンドツーエンドシステムを提案する。ESCO分類体系を活用して情報豊富なネガティブ例を生成することで、RP@5において最大8パーセンテージポイントの性能向上を達成し、手動アノテーションを必要としないベースラインモデルを上回る。

ABSTRACT

Skills play a central role in the job market and many human resources (HR) processes. In the wake of other digital experiences, today's online job market has candidates expecting to see the right opportunities based on their skill set. Similarly, enterprises increasingly need to use data to guarantee that the skills within their workforce remain future-proof. However, structured information about skills is often missing, and processes building on self- or manager-assessment have shown to struggle with issues around adoption, completeness, and freshness of the resulting data. Extracting skills is a highly challenging task, given the many thousands of possible skill labels mentioned either explicitly or merely described implicitly and the lack of finely annotated training corpora. Previous work on skill extraction overly simplifies the task to an explicit entity detection task or builds on manually annotated training data that would be infeasible if applied to a complete vocabulary of skills. We propose an end-to-end system for skill extraction, based on distant supervision through literal matching. We propose and evaluate several negative sampling strategies, tuned on a small validation dataset, to improve the generalization of skill extraction towards implicitly mentioned skills, despite the lack of such implicit skills in the distantly supervised data. We observe that using the ESCO taxonomy to select negative examples from related skills yields the biggest improvements, and combining three different strategies in one model further increases the performance, up to 8 percentage points in RP@5. We introduce a manually annotated evaluation benchmark for skill extraction based on the ESCO taxonomy, on which we validate our models. We release the benchmark dataset for research purposes to stimulate further research on the task.

研究の動機と目的

• 構造化されたスキルデータが乏しく、手動アノテーションが非現実的なHRアプリケーションにおける細分化されたスキル抽出の課題に対処すること。
• 高価な細分化ラベル付きデータセットに依存する既存手法の限界や、暗黙的に言及されたスキルを検出できない問題を克服すること。
• 人為的アノテーション訓練データへの依存を最小限に抑えるために、リテラルマッチングによる距離監視を活用し、スケーラブルで自動化されたスキル抽出システムを設計すること。
• 複数のネガティブサンプリング戦略を導入・評価することで、モデルの一般化性能を向上させ、暗黙的スキル表記の検出を改善すること。
• 再現可能な評価と今後の自動スキル抽出研究を可能にするために、ESCO分類体系に基づく手動アノテート済みベンチマークデータセットを公開すること。

提案手法

• スキル抽出を、各スキルごとに独立した二値分類問題に分解したマルチラベル分類タスクとして定式化する。
• 既知のスキルをテキスト内でリテラルマッチングすることで距離監視を適用し、誤検出が最小限の大量の訓練データセットを自動生成する。
• 3つのネガティブサンプリング戦略を導入する：(1) レーベンシュタイン距離に基づく文字列類似度、(2) ESCO分類体系の階層構造からのサブスキル、(3) 事前学習モデルからの意味的埋め込み。
• 3つの戦略を、最大5%のハードネガティブ例を制御的に組み合わせることで、過学習を防ぎつつモデルの一般化性能を向上させる。
• ハードネガティブ例を含む距離監視データ上でRoBERTaベースのモデルを微調整し、ハイパーパramータチューニングには小規模な検証セットを用いる。
• 1つのポジティブ文ごとに固定の10個のネガティブ例をサンプリングするが、最適なパフォーマンスは、戦略全体で5%のハードネガティブサンプリング比で達成された。

実験結果

リサーチクエスチョン

• RQ1 距離監視下で、暗黙的に言及されたスキルの検出を向上させるために、異なるネガティブサンプリング戦略はどの程度有効であるか？
• RQ2 モデルパフォーマンスの劣化を招かずに、トレーニングプロセスに含めるハードネガティブ例の最適な割合は何か？
• RQ3 単一の戦略を個別に使用する場合と比較して、複数のネガティブサンプリング戦略を組み合わせることで、より大きなパフォーマンス向上が得られるか？
• RQ4 ESCO分類体系の階層的関係を用いた情報豊富なネガティブ例の選択は、文字列類似度や埋め込みベースの方法と比較して、どの程度優れているか？
• RQ5 手動アノテーションを一切必要としない距離監視データで学習したモデルは、未観測の暗黙的スキル表記にどの程度一般化できるか？

主な発見

• レーベンシュタイン、サブスキル、埋め込みの3つのネガティブサンプリング戦略を組み合わせた場合、ベースラインと比較してRP@5が最大8パーセンテージポイント向上した。
• ESCO分類体系の階層構造を活用するサブスキルベースの戦略が、最も大きなパフォーマンス向上をもたらし、文字列類似度や埋め込みベースの方法よりも優れていた。
• 最適なハードネガティブ例の割合は5%未満であることが判明した。これ以上の比率はモデルパフォーマンスを低下させ、先行研究とも整合的であった。
• ESCOのような階層的構造が利用できない状況では、埋め込みベースの戦略が強力な代替手段となり、サブスキル戦略と同等の性能を示した。
• サブスキル戦略を削除するとパフォーマンスが最も大きく低下したが、レーベンシュタイン戦略を削除しても影響は最小限にとどまり、これは同戦略が関係のないまたはノイズの多いネガティブ例を選択する傾向があるためと考えられる。
• 最終モデルは、TECHデータセットでMRR 0.339、RP@5 31.11を達成し、HOUSEデータセットではMRR 0.298、RP@5 30.14を達成し、分野を越えて優れた一般化性能を示した。