[論文レビュー] Generative Job Recommendations with Large Language Model

Zhi Zheng, Zhaopeng Qiu+4 more|arXiv (Cornell University)|Jul 5, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 15

ひとこと要約

本論文は、GIRLと呼ばれる3段階のトレーニングフレームワークを提案します。GIRLはLLMを用いてCVから個人化された職務説明（JD）を生成し、それを報酬モデルの訓練に用い、PPOベースの強化学習で出力をリクルーターの好みに合わせて整合させます。さらに生成されたJDを用いて従来の識別型職務推奨を強化します。

ABSTRACT

The rapid development of online recruitment services has encouraged the utilization of recommender systems to streamline the job seeking process. Predominantly, current job recommendations deploy either collaborative filtering or person-job matching strategies. However, these models tend to operate as "black-box" systems and lack the capacity to offer explainable guidance to job seekers. Moreover, conventional matching-based recommendation methods are limited to retrieving and ranking existing jobs in the database, restricting their potential as comprehensive career AI advisors. To this end, here we present GIRL (GeneratIve job Recommendation based on Large language models), a novel approach inspired by recent advancements in the field of Large Language Models (LLMs). We initially employ a Supervised Fine-Tuning (SFT) strategy to instruct the LLM-based generator in crafting suitable Job Descriptions (JDs) based on the Curriculum Vitae (CV) of a job seeker. Moreover, we propose to train a model which can evaluate the matching degree between CVs and JDs as a reward model, and we use Proximal Policy Optimization (PPO)-based Reinforcement Learning (RL) method to further fine-tine the generator. This aligns the generator with recruiter feedback, tailoring the output to better meet employer preferences. In particular, GIRL serves as a job seeker-centric generative model, providing job suggestions without the need of a candidate set. This capability also enhances the performance of existing job recommendation models by supplementing job seeking features with generated content. With extensive experiments on a large-scale real-world dataset, we demonstrate the substantial effectiveness of our approach. We believe that GIRL introduces a paradigm-shifting approach to job recommendation systems, fostering a more personalized and comprehensive job-seeking experience.

研究の動機と目的

• Explainableで生成ベースの職務推奨が伝統的な識別法を超える必要性を動機づける。
• CVから職務説明を生成するLLMを訓練するための三段階の訓練パイプライン（SFT、報酜モデリング、強化学習）を提案する。
• 生成されたJDが説明として機能し、下流の推奨性能を改善できることを示す。
• 生成強化推奨がベースラインの識別モデルを上回ることができ、特にコールドスタートの状況で効果が高いことを示す。

提案手法

• 生成的な職務推奨を、CV CからJD J'を生成するLLMベースのジェネレーターGを用いて定式化する。
• Step 1: Supervised Fine-Tuning (SFT) は、CV-JDの対になる組を用いてGに適切なJDを生成させるプロンプトテンプレートを用いる。
• Step 2: Reward Model Training (RMT) は、組としての適合/不適合データを用いてCVとJDのリクルーター風のマッチングを予測する。
• Step 3: Reinforcement Learning from Recruiter Feedback (RLRF) はPPOを用いてGをリクルーターの好みに整合させる。共同報酬にはU(C,J')とKLダイバージェンス項を組み込む。
• Generation-enhanced recommendation: 生成されたJDと従来のエンコーダを組み合わせて、MLPや內積予測器における拡張特徴（J'、埋め込み）でランキングを改善する。
• 主要方程式には以下を含む： (1) SFT loss -log Pr(C|J,T,G); (2) Ranking loss L_rmt = log sigma(U(C,J^+) - U(C,J^−)); (3)-(8) PPOベースの actor-critic 更新とKLダイバージェンスおよびメリット計算。

実験結果

リサーチクエスチョン

• RQ1 RQ1: LLMベースのジェネレータは就職希望者に対して高品質なJDを生成できるか？
• RQ2 RQ2: 生成されたJDは識別的職務推奨モデルの性能を向上させるか？
• RQ3 RQ3: 提案されたSFT、報酬モデリング、RL訓練ステップは有効か？
• RQ4 RQ4: 異なる生成設定（例：JDの数）は性能とコストにどう影響するか？

主な発見

Model	AUC (↑)	LogLoss (↓)
Base (MLP)	0.6349	0.4043
GIRL-SFT (MLP)	0.6438	0.3973 (+1.7%)
GIRL (MLP)	0.6476	0.3908 (+3.3%)
Base (Dot)	0.6258	0.4964
GIRL-SFT (Dot)	0.6291	0.3688 (+20.3%)
GIRL (Dot)	0.6436	0.3567 (+28.1%)

• GIRLおよびGIRL-SFTは、ChatGPTベースの基準（詳細度、関連性、要約性）で生成品質の点でベースラインを上回る。
• 識別的推奨において、GIRL（RLあり）はMLPおよびDot予測器でAUCが高く、LogLossが低くなる（例：MLPでAUC 0.6476、Dotで0.6436、LogLossがそれぞれ+/-の差）。
• RLベースのファインチューニング（GIRL）は、生成品質と推奨性能の両方でSFTのみ（GIRL-SFT）を上回る。
• 生成されたJDを強化に使用することはコールドスタート条件で特に有益であり、Dotベースの予測器で大きな利益が見られる。
• 生成JDの数を増やすと、ある点まで性能が向上するが、計算コストが増大し、それ以降は利得が縮小する。