[論文レビュー] Large Language Models as Batteries-Included Zero-Shot ESCO Skills Matchers

Benjamin Clavié, Guillaume Soulié|arXiv (Cornell University)|Jul 7, 2023

Topic Modeling被引用数 6

ひとこと要約

本論文は、大規模言語モデル（LLMs）を用いたゼロショットでエンドツーエンドのパイプラインを提案し、求人要件のスキルをESCO分類にマッチングする。13,890のESCOスキルのための合成学習データを生成し、2段階アプローチ（埋め込みによる候補抽出とGPT-4による再ランク付け）を採用。人的アノテーションを一切使用せず、先行手法よりもRP@10で22点以上向上を達成。

ABSTRACT

Understanding labour market dynamics requires accurately identifying the skills required for and possessed by the workforce. Automation techniques are increasingly being developed to support this effort. However, automatically extracting skills from job postings is challenging due to the vast number of existing skills. The ESCO (European Skills, Competences, Qualifications and Occupations) framework provides a useful reference, listing over 13,000 individual skills. However, skills extraction remains difficult and accurately matching job posts to the ESCO taxonomy is an open problem. In this work, we propose an end-to-end zero-shot system for skills extraction from job descriptions based on large language models (LLMs). We generate synthetic training data for the entirety of ESCO skills and train a classifier to extract skill mentions from job posts. We also employ a similarity retriever to generate skill candidates which are then re-ranked using a second LLM. Using synthetic data achieves an RP@10 score 10 points higher than previous distant supervision approaches. Adding GPT-4 re-ranking improves RP@10 by over 22 points over previous methods. We also show that Framing the task as mock programming when prompting the LLM can lead to better performance than natural language prompts, especially with weaker LLMs. We demonstrate the potential of integrating large language models at both ends of skills matching pipelines. Our approach requires no human annotations and achieve extremely promising results on skills extraction against ESCO.

研究の動機と目的

• 13,000以上のスキルを含む大規模で細分化されたESCO分類に対するゼロショットスキルマッチングの課題に対処すること。
• 人的アノテーションデータセットに依存しない高価な人的リソースを避けるために、LLMsを活用して合成データを生成し、スキルマッチングの候補生成を改善すること。
• 2段階のスキルマッチングパイプラインの最終段階におけるLLMsのゼロショット再ランク付けの有効性を評価すること。
• 再ランク付けタスクを模擬プログラミング問題（例：「一致するスキルのリストを返却すること」）として定式化することで、特に能力が低いLLMsにおいて性能が向上するかどうかを検証すること。
• LLMsがスケーラブルで包括的なパイプラインにおいて、合成データ生成者と高精度な再ランク付け者としての両方の役割を果たせることを実証すること。

提案手法

• GPT-3.5に、すべての13,890のESCOスキルを含む多様で現実的な求人要件を生成するプロンプトを提示し、合成学習データを生成する。
• 密な検索モデル（e5）を用いて、意味的類似性に基づき、求人投稿から初期の候補スキルマッチを生成する。
• 合成データ上で線形分類器を学習させ、求人テキスト内の潜在的なスキルの出現を予測する。
• GPT-4が、プロンプトフレームドの指示に基づき関連性を評価し、再ランク付けをゼロショットで実行する。
• 再ランク付けタスクを、特に能力が低いモデル向けに、推論力と指示従いを向上させるために、模擬プログラミング問題（例：「一致するスキルのリストを返す」）としてフレームする。
• 合成データ学習、埋め込みベースの検索、LLM駆動の再ランク付けを統合したエンドツーエンドのゼロショット設定で、パイプラインを構築する。

Figure 1: High-level overview of the full process.

実験結果

リサーチクエスチョン

• RQ1 LLMsが生成する高品質な合成学習データは、ESCO分類におけるゼロショットスキルマッチング性能を顕著に向上させることができるか？
• RQ2 2段階パイプライン（候補生成 → LLMベースの再ランク付け）は、単一段階アプローチよりも優れた結果をもたらすか？
• RQ3 再ランク付けタスクを模擬プログラミング問題として定式化することで、特に能力が低いLLMsにおいて性能が向上するか？
• RQ4 RP@10の観点から、本手法は先行の遠隔監視および弱い監視手法と比較して、どの程度優れているか？
• RQ5 GPT-4をゼロショット再ランク付け者として使用することで、全体の性能向上にどの程度寄与しているか？

主な発見

• GPT-3.5が生成した合成データを用いることで、以前の遠隔監視手法と比較してRP@10スコアが10ポイント向上した。
• GPT-4をゼロショット再ランク付け者として追加することで、先行の最先端手法と比較してRP@10スコアが22ポイント以上向上した。
• 再ランク付けタスクを模擬プログラミング問題としてフレームすることで、特に能力が低いLLMsを用いた場合に顕著な性能向上が得られた。
• 人的アノテーションデータを一切使用せず、合成データとゼロショットLLMの能力に依存するだけで、強力な性能を達成した。
• 分類器と検索による候補生成、その後にLLMによる再ランク付けを行う2段階パイプラインは、リソースが限られた環境における極めて多値ラベル分類に非常に効果的であることが示された。
• 本アプローチはスケーラブルで汎用的であり、エンドツーエンドの求人推薦システムへの統合の可能性を有する。