[論文レビュー] SkillGPT: a RESTful API service for skill extraction and standardization using a Large Language Model

Nan Li, Bo Soo Kang+1 more|arXiv (Cornell University)|Apr 17, 2023

Topic Modeling被引用数 10

ひとこと要約

SkillGPTは、バックボーンとなるオープンソースのLLMとベクトル検索を用いて、フリーテキストの求人説明やプロフィールからスキルを抽出・標準化するAPIツールで、速度・精度・コストのバランスを取ります。

ABSTRACT

We present SkillGPT, a tool for skill extraction and standardization (SES) from free-style job descriptions and user profiles with an open-source Large Language Model (LLM) as backbone. Most previous methods for similar tasks either need supervision or rely on heavy data-preprocessing and feature engineering. Directly prompting the latest conversational LLM for standard skills, however, is slow, costly and inaccurate. In contrast, SkillGPT utilizes a LLM to perform its tasks in steps via summarization and vector similarity search, to balance speed with precision. The backbone LLM of SkillGPT is based on Llama, free for academic use and thus useful for exploratory research and prototype development. Hence, our cost-free SkillGPT gives users the convenience of conversational SES, efficiently and reliably.

研究の動機と目的

• 非構造化の求人説明とユーザープロフィールからの自動的なスキル抽出と標準化を促進する。
• オープンソースのLLMとベクトル埋め込みを用いた、コスト効率が高く、精度の高いSESソリューションを提供する。
• 多言語SESと複数概念抽出（スキル、職業、職業グループ）を可能にする。
• 研究者がSESタスクをプロトタイピングおよび評価するためのアクセス可能なAPIとUIを提供する。

提案手法

• オープンソースLLMバックボーン（Vicuna-13B）を使用して、自由形式テキストをスキルリストに要約する。
• 要約済みテキストの埋め込みを計算し、事前計算済みのESCO埋め込みに対してベクトル類似検索を実行する。
• ベクトル類似性を介して上位k件の一致するESCO用語を取得してスキルを標準化する。
• APIゲートウェイを介してコンポーネントを調整し、RESTful APIまたはGradio UIを対話モードとして提供する。
• システム初期化フェーズでESCOタクソノミーの埋め込みと保存を構造化し、オンラインSESタスクを可能にする。

実験結果

リサーチクエスチョン

• RQ1 オープンソースのLLMを使用して、重い監督や前処理なしでSESを効率的に実行するにはどうすればよいか？
• RQ2 事前計算済みのESCO埋め込みを用いたベクトル類似性アプローチは、自由形式テキストから正確なスキル標準化を実現できるか？
• RQ3 多言語（英語、フランス語、オランダ語）SESパイプラインは言語間で性能を維持できるか？
• RQ4 Vicuna-13BをSESタスクに使用する場合の速度・コスト・精度のトレードオフは何か？

主な発見

• SkillGPTは、要約とベクトル検索を組み合わせることで、速度と精度のバランスを取ったスキル抽出と標準化を実現する。
• システムはESCO埋め込みに対する高速なベクトル類似性を利用して、妥当な標準用語を取得する。
• SkillGPTは複数の文書タイプ、ESCO概念タイプ、言語をサポートし、18のユースケース組み合わせを可能にする。
• Vicuna-13BはSESタスクに十分で、低コストでローカル展開可能、学術利用やプロトタイピングを可能にする。
• 設計はモジュール化されており、他のLLMやツールを取り入れる柔軟性があり、公開コードベースが利用可能。
• 制限には、要約時の微妙なスキルの損失や言語依存の性能変動の可能性が含まれる。