[논문 리뷰] Generative Job Recommendations with Large Language Model

Zhi Zheng, Zhaopeng Qiu외 4명|arXiv (Cornell University)|2023. 07. 05.

Radiomics and Machine Learning in Medical Imaging인용 수 15

한 줄 요약

논문은 CV에서 개인화된 직무 설명을 생성하기 위해 LLM을 사용하는 GIRL이라는 3단계 학습 프레임워크를 소개한다. 그런 다음 보상 모델을 훈련하고 PPO 기반 강화학습을 적용하여 출력물을 채용자 선호도와 정렬하며, 생성된 JD를 사용해 전통적 판별형 직무 추천을 향상시킨다.

ABSTRACT

The rapid development of online recruitment services has encouraged the utilization of recommender systems to streamline the job seeking process. Predominantly, current job recommendations deploy either collaborative filtering or person-job matching strategies. However, these models tend to operate as "black-box" systems and lack the capacity to offer explainable guidance to job seekers. Moreover, conventional matching-based recommendation methods are limited to retrieving and ranking existing jobs in the database, restricting their potential as comprehensive career AI advisors. To this end, here we present GIRL (GeneratIve job Recommendation based on Large language models), a novel approach inspired by recent advancements in the field of Large Language Models (LLMs). We initially employ a Supervised Fine-Tuning (SFT) strategy to instruct the LLM-based generator in crafting suitable Job Descriptions (JDs) based on the Curriculum Vitae (CV) of a job seeker. Moreover, we propose to train a model which can evaluate the matching degree between CVs and JDs as a reward model, and we use Proximal Policy Optimization (PPO)-based Reinforcement Learning (RL) method to further fine-tine the generator. This aligns the generator with recruiter feedback, tailoring the output to better meet employer preferences. In particular, GIRL serves as a job seeker-centric generative model, providing job suggestions without the need of a candidate set. This capability also enhances the performance of existing job recommendation models by supplementing job seeking features with generated content. With extensive experiments on a large-scale real-world dataset, we demonstrate the substantial effectiveness of our approach. We believe that GIRL introduces a paradigm-shifting approach to job recommendation systems, fostering a more personalized and comprehensive job-seeking experience.

연구 동기 및 목표

• 전통적인 판별 기반 방법을 넘어 설명 가능하고 생성 기반의 직무 추천의 필요성을 제시한다.
• CV에서 직무 설명을 생성하도록 LLM을 학습시키기 위한 세 단계의 학습 파이프라인(SFT, 보상 모델링, 강화 학습)을 제안한다.
• 생성된 JDs가 설명으로 작용하고 다운스트림 추천 성능을 향상시키는지 보여준다.
• 생성 강화 추천이 특히 콜드 스타트 상황에서 기본 판별 모델보다 성능이 우수함을 보여준다.

제안 방법

• 생성적 직무 추천을 LLM 기반 생성기 G를 사용하여 CV C로부터 JD J'를 생성하는 문제로 형식화한다.
• 1단계: 프롬프트 템플릿을 통해 G가 적절한 JD를 생성하도록 매칭된 CV-JD 쌍으로 지도 학습 미세조정(SFT)을 수행한다.
• 2단계: 매칭된/매칭되지 않은 데이터를 사용하여 CV와 JD 간의 채용자 스타일 매칭을 예측하는 보상 모델(RMT)을 훈련한다.
• 3단계: 채용자 피드백으로부터의 강화 학습(RLRF)을 PPO를 사용해 G를 채용자 선호도에 맞추고, U(C,J')와 KL-발산 항을 포함하는 결합 보상을 사용한다.
• 생성 강화 추천: 생성된 JD를 전통적 인코더와 결합하여 MLP나 점곱 예측기에서 확장 특징(J', 임베딩)을 통해 순위를 향상시킨다.
• 주요 식으로는: (1) SFT 손실 -log Pr(C|J,T,G); (2) 랭킹 손실 L_rmt = log sigma(U(C,J^+) - U(C,J^−)); (3)-(8) KL 발산 및 어드밴티지 계산을 포함한 PPO 기반 actor-critic 업데이트.

실험 결과

연구 질문

• RQ1 RQ1: LLM 기반 생성기가 구직자를 위한 고품질 JD를 생성할 수 있는가?
• RQ2 RQ2: 생성된 JD가 판별적 직무 추천 모델의 성능을 향상시키는가?
• RQ3 RQ3: 제안된 SFT, 보상 모델링, RL 학습 단계가 효과적인가?
• RQ4 RQ4: 서로 다른 생성 설정(예: JD의 수)이 성능과 비용에 어떤 영향을 미치는가?

주요 결과

• GIRL 및 GIRL-SFT는 세부 수준, 관련성, 간결성 등 ChatGPT 기반 기준으로 평가할 때 생성 품질에서 베이스라인보다 우수하다.
• 판별적 추천에서 GIRL(RL 포함)은 MLP 및 Dot 예측기 전반에서 베이스라인보다 더 높은 AUC와 더 낮은 LogLoss를 달성한다(예: MLP에서 AUC 0.6476; Dot에서 0.6436).
• RL 기반 미세조정(GIRL)은 생성 품질과 추천 성능 모두에서 SFT-전용(GIRL-SFT)보다 개선을 가져온다.
• 생성된 JD를 활용한 향상은 콜드스타트 조건에서 특히 유리하며, Dot 기반 예측기에 더 큰 이점을 보인다.
• 생성된 JD의 수를 늘리면 어느 정도 성능이 향상되지만, 일정 지점 이후에는 계산 비용이 증가하고 이득이 감소한다.