[論文レビュー] LLM4Jobs: Unsupervised occupation extraction and standardization leveraging Large Language Models

Nan Li, Bo Gyeong Kang+1 more|arXiv (Cornell University)|Sep 18, 2023

Topic Modeling被引用数 5

ひとこと要約

LLM4Jobs は、オープンソースの大規模言語モデル（LLM）の自然言語理解および生成機能を活用して、自動的かつ教師なしで職業の抽出と標準化を実現するフレームワークである。職業分類体系の記述とクエリテキストからの LLM 生成埋め込みを用い、その後ベクトル類似度検索を実施することで、微調整や高コストなモデルを用いずに、合成データおよび実世界のデータセットにおいて最先端の性能を達成した。

ABSTRACT

Automated occupation extraction and standardization from free-text job postings and resumes are crucial for applications like job recommendation and labor market policy formation. This paper introduces LLM4Jobs, a novel unsupervised methodology that taps into the capabilities of large language models (LLMs) for occupation coding. LLM4Jobs uniquely harnesses both the natural language understanding and generation capacities of LLMs. Evaluated on rigorous experimentation on synthetic and real-world datasets, we demonstrate that LLM4Jobs consistently surpasses unsupervised state-of-the-art benchmarks, demonstrating its versatility across diverse datasets and granularities. As a side result of our work, we present both synthetic and real-world datasets, which may be instrumental for subsequent research in this domain. Overall, this investigation highlights the promise of contemporary LLMs for the intricate task of occupation extraction and standardization, laying the foundation for a robust and adaptable framework relevant to both research and industrial contexts.

研究の動機と目的

• 自由なテキストの求人広告や履歴書から、正確でスケーラブルかつ教師なしの職業抽出と標準化を実現すること。
• ラベル付きデータに依存する、言語特異性、分類体系の制約といった、教師あり手法の限界を克服すること。
• デコーダー専用の LLM が、理解と生成の両方の能力を活用して、職業コード化に適した高品質なテキスト表現を生成する可能性を検討すること。
• 低コストで、学術的および産業的展開に適した、分類体系および言語に依存しない柔軟なフレームワークを提供すること。
• 今後の職業コード化分野の研究を目的として、合成および実世界のベンチマークデータセットを新たに提供すること。

提案手法

• LLM4Jobs は二段階のアプローチを採用する：まず、標準的な分類体系内の各職業について、事前学習済み LLM を用いて密なベクトル埋め込みを計算する。
• 各職業について、LLM がその完全なテキスト記述を処理し、トークンレベルの埋め込みの平均値を最終的な埋め込みベクトルとして採用する。
• クエリ段階では、入力された求人広告や履歴書を、同じ LLM を用いて要約することで、職業関連の重要な内容を抽出する。
• 要約済みまたは元のテキストが、同じ LLM を用いて埋め込み処理され、類似度マッチング用のクエリベクトルが生成される。
• ベクトル類似度検索（例：コサイン類似度）を用いて、事前に計算された分類体系埋め込み空間から最も関連性の高い職業コードを取得する。
• フレームワークは、低コストなデプロイと広範なアクセス性を確保するため、オープンソースの LLM のみに依存する。

実験結果

リサーチクエスチョン

• RQ1 微調整を伴わず、デコーダー専用の LLM が教師なし職業コード化に効果的に活用可能かどうか。
• RQ2 LLM を用いたテキスト要約は、長大またはノイズの多い求人広告において、職業コード化の正確性を向上させるか。
• RQ3 多様なデータセットおよび粒度レベルにおいて、LLM4Jobs は既存の教師なしベースラインと比較してどの程度の性能を示すか。
• RQ4 オープンソースの LLM が、GPT-4 などの閉鎖型モデルと同等の性能を職業コード化タスクで達成できるか。
• RQ5 LLM を用いて生成された合成および実世界のデータセットは、今後の職業コード化分野の研究における信頼できるベンチマークとして機能するか。

主な発見

• LLM4Jobs は、合成データおよび実世界のデータセットの両方において、最先端の教師なしベースラインを常に上回り、異なるデータ分布および粒度レベルにわたって高い頑健性を示した。
• LLM を用いた要約処理を活用することで、特に長大またはノイズの多い求人広告において、重要な役割記述に焦点を当てることで、職業コード化の正確性が顕著に向上した。
• フレームワークは、GPT-4 などのプロプライエタリモデルに比べて高コストでアクセスが制限される問題を回避するため、オープンソースの LLM のみを用いても高い性能を達成した。
• 提案された合成および実世界のデータセットは、今後の研究にとって貴重なベンチマークを提供しており、実世界データセットは手動でアノテーション済みであり、合成データセットは GPT-4 を用いて生成された。
• LLM4Jobs は、職業コード化の分野において、LLM の自然言語生成機能を完全に活用した最初のフレームワークであり、本分野における画期的なアプローチを示した。
• データセットのサイズ制限や合成データにおける潜在的な分布ギャップの限界にもかかわらず、LLM4Jobs は複数の分類体系および言語にわたる強力な汎化性と適応性を示した。