[論文レビュー] Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations

Likang Wu, Zhaopeng Qiu+3 more|arXiv (Cornell University)|Jul 10, 2023

Topic Modeling被引用数 9

ひとこと要約

GLRec は、ジョブ推奨の行動グラフを理解するためのメタパスプロンプトを用いて LLM を微調整し、実世界データセットで強力な結果を達成し、分布外アイテムに対する頑健性を示す。

ABSTRACT

Large Language Models (LLMs) have revolutionized natural language processing tasks, demonstrating their exceptional capabilities in various domains. However, their potential for behavior graph understanding in job recommendations remains largely unexplored. This paper focuses on unveiling the capability of large language models in understanding behavior graphs and leveraging this understanding to enhance recommendations in online recruitment, including the promotion of out-of-distribution (OOD) application. We present a novel framework that harnesses the rich contextual information and semantic representations provided by large language models to analyze behavior graphs and uncover underlying patterns and relationships. Specifically, we propose a meta-path prompt constructor that leverages LLM recommender to understand behavior graphs for the first time and design a corresponding path augmentation module to alleviate the prompt bias introduced by path-based sequence input. By leveraging this capability, our framework enables personalized and accurate job recommendations for individual users. We evaluate the effectiveness of our approach on a comprehensive dataset and demonstrate its ability to improve the relevance and quality of recommended quality. This research not only sheds light on the untapped potential of large language models but also provides valuable insights for developing advanced recommendation systems in the recruitment market. The findings contribute to the growing field of natural language processing and offer practical implications for enhancing job search experiences. We release the code at https://github.com/WLiK/GLRec.

研究の動機と目的

• グラフベースの行動情報を取り入れることにより、ジョブ推奨を強化するために大規模言語モデル（LLMs）の活用を促進する。
• 多様な挙動グラフをLLMの理解のための自然言語プロンプトへ翻訳するメタパスプロンプト生成器を提案する。
• プロンプト内のパスの重みや位置バイアスに対処するためのパス拡張とデバイアシング戦略を開発する。
• LoRAを用いてLLMを効率的にチューニングし、領域特有の推奨タスクに合わせる。
• 実世界の採用データセットでの有効性を実証し、OODの頑健性を分析する。

提案手法

• ローカルサブグラフを記述する自然言語プロンプトとして、異種の行動グラフ（Candidate、JD、interactions）をエンコードするメタパスプロンプト生成を導入する。
• プロンプトのパスの重みと位置バイアスを緩和するため、Shuffle Mechanism、Path Soft Selector、および Hybrid メカニズムを備えたパス拡張モジュールを設計する。
• 指示調整データを用いて LoRA で BELLE-LLaMA-7B をファインチューニングし、ポイントワイズおよびペアワイズ推奨タスクに適合させる。
• 指示調整生成のための軽量な自己回帰目的関数を用い、モデル出力を二値判断（Yes/No または [A]/[B]）にパースする。
• RecrX および RecrY データセットで GLRec を RobertaRec、HGT、DPGNN、および TALLRec と AUC で比較し、Random および Out-of-Distribution (OOD) 分割を含む。
• メタパスの数（M）とパス拡張戦略の影響を調査する。

実験結果

リサーチクエスチョン

• RQ1 LLMベースの推奨システムは、メタパスプロンプトを介して行動グラフの意味論を理解し活用できるか？
• RQ2 パスベースのプロンプトは重みと位置のバイアスを生じさせるか、拡張によりそれらを緩和できるか？
• RQ3 メタパスプロンプトの組み込みは、テキストのみや標準的なグラフベースのベースラインより推奨品質を向上させ、特にOOD条件下で効果を発揮するか？

主な発見

タスク	分割	データセット	RobertaRec	HGT	DPGNN	TALLrec	GLRec	改善
ポイントワイズ	ランダム	RX	0.710	0.744	0.727	0.842 ∗	0.891	18.4%
ポイントワイズ	ランダム	RY	0.734	0.756	0.743	0.829 ∗	0.876	14.1%
ポイントワイズ	OOD位置	RX	0.503	0.572	0.596	0.770 ∗	0.810	25.2%
ポイントワイズ	OOD位置	RY	0.528	0.595	0.603	0.788 ∗	0.843	28.3%
ポイントワイズ	OOD_JD	RX	0.506	0.576	0.588	0.766 ∗	0.814	26.4%
ポイントワイズ	OOD_JD	RY	0.536	0.593	0.617	0.798 ∗	0.852	29.8%
ペアワイズ	ランダム	RX	0.727	0.747	0.744	0.849 ∗	0.905	15.5%
ペアワイズ	ランダム	RY	0.740	0.751	0.756	0.825 ∗	0.883	13.2%

• GLRec は RecrX および RecrY の両方の点推定タスクとペアワイズタスクで、すべてのベースライン（RobertaRec、HGT、DPGNN、TALLrec）を上回る。
• GLRec はベースラインより高い AUC を達成し、標準設定と OOD 設定の両方で顕著な向上を示す（例: Table 2でベースラインに対する大幅な改善）
• メタパス数を増やすと一般に GLRec の性能が向上し、意味理解の向上により2–3パスでピークに達する。
• パスデバイアシング戦略（Shuffle、Path Soft Selector、Hybrid）は、未拡張プロンプトより頑健性と予測安定性を一貫して改善する（Figure 4）。
• LoRA でのファインチューニングは、BELLE-LLaMA-7B を採用領域へ効率的に適応させつつ、全モデル重量を凍結したまま実現する。