[論文レビュー] User Modeling in the Era of Large Language Models: Current Research and Future Directions

Zhaoxuan Tan, Meng Jiang|arXiv (Cornell University)|Dec 11, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿は、大規模言語モデル（LLM）を用いたユーザーモデリング（LLM-UM）について包括的なサーベイを提供し、LLMがユーザーゲンダレートコンテンツ（UGC）の理解やインタラクションモデリングをどのように向上させるかを分析している。LLM-UMのアプローチは、LLMが果たす統合タイプ（エンハンサー、予測者、コントローラー、評価者）に基づいて分類され、パーソナライズド、教育、不審行動検出の分野における応用が提示されている。一方で、効率性、パーソナライズド、プライバシーに関する主な課題も特定している。

ABSTRACT

User modeling (UM) aims to discover patterns or learn representations from user data about the characteristics of a specific user, such as profile, preference, and personality. The user models enable personalization and suspiciousness detection in many online applications such as recommendation, education, and healthcare. Two common types of user data are text and graph, as the data usually contain a large amount of user-generated content (UGC) and online interactions. The research of text and graph mining is developing rapidly, contributing many notable solutions in the past two decades. Recently, large language models (LLMs) have shown superior performance on generating, understanding, and even reasoning over text data. The approaches of user modeling have been equipped with LLMs and soon become outstanding. This article summarizes existing research about how and why LLMs are great tools of modeling and understanding UGC. Then it reviews a few categories of large language models for user modeling (LLM-UM) approaches that integrate the LLMs with text and graph-based methods in different ways. Then it introduces specific LLM-UM techniques for a variety of UM applications. Finally, it presents remaining challenges and future directions in the LLM-UM research. We maintain the reading list at: https://github.com/TamSiuhin/LLM-UM-Reading

研究の動機と目的

• 大規模言語モデル（LLM）がユーザーゲンダレートコンテンツ（UGC）およびユーザーアクティビティのモデリングと理解にどのように高い効果を発揮するかを分析すること。
• LLMとテキストベースおよびグラフベースのユーザーモデリング技術を統合する既存のLLM-UMアプローチを分類・レビューすること。
• LLM-UMの実世界の分野（例：レコメンデーション、教育、ヘルスケア、不審ユーザ検出）への応用を検討すること。
• LLM-UMシステムの効率的なファインチューニング、オンライン適応、パーソナライズドデプロイメントにおける重要な課題を特定すること。
• 効率的パーソナライズド、クロスモデル知識移行、パrametricプライバシー保護に焦点を当てた今後の研究方向性を提案すること。

提案手法

• LLMが果たす役割に基づいてLLM-UMアプローチを分類：エンハンサー（表現の向上）、予測者（ユーザ行動の予測）、コントローラー（システム意思決定のガイド）、評価者（ユーザーモデル品質の評価）。
• 従来のテキストマイニング（例：BERT、word2vec）とグラフマイニング（例：GCN、node2vec）を統合する戦略をレビューし、UGCおよびインタラクションネットワークのモデリングに応用。
• リtrieバル増強プロンプト工学と強化学習ベースの好み整合性を活用したパーソナライズドLLM-UMのフレームワークを提案。
• 離散的プロンプトではなく学習可能なパラメータを用いてユーザープreferencesをエンコードするパラメトリックパーソナライズド技術を導入し、コンテキスト効率を向上。
• 計算コストを低減するため、LLM-UMシステムの効率的ファインチューニングに知識蒸留とモデルプルーニングを活用。
• 小規模なローカルモデルがユーザーマイナス知識を学習し、それを大規模なリモートLLMに転送するクロスモデル知識移行を提案し、高品質なパーソナライズド推論を実現。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデル（LLM）は、ユーザーモデリングにおけるユーザーゲンダレートコンテンツ（UGC）の理解と表現をどのように向上させるか？
• RQ2 テキストおよびグラフベースのユーザーモデリング技術と統合された際、LLMが果たす明確な役割は何か？
• RQ3 限られたデータとノイズの多いデータのもとで、LLM-UMシステムをどのように効率的にファインチューニングし、動的変化するユーザープreferencesに適応できるか？
• RQ4 ユーザープライバシーと計算効率を両立させながら、パーソナライズドLLM-UMシステムを効果的にデプロイする最適な手法は何か？
• RQ5 パラメトリックパーソナライズドとクロスモデル知識移行は、LLM-UMシステムのスケーラビリティとパフォーマンスをどのように向上できるか？

主な発見

• LLMは、要約や推論などのタスクにおいて、ゼロショットでのUGC理解において人間の性能を上回る優れた性能を示している。
• LLMは、文脈に応じた埋め込みを用いることで、テキストおよびグラフデータの意味的表現を向上させる強力なエンハンサーとして機能する。
• LLMとグラフベース手法の統合により、ソーシャルネットワークにおける複雑なユーザーアクティビティや時間的ダイナミクスのモデリングがより正確に可能になる。
• パーソナライズドプロンプトと強化学習ベースの整合性手法は有望であるが、コンテキスト窓サイズの制限と計算コストの問題に直面している。
• パラメトリックパーソナライズドは、離散的プロンプトベースの手法に比べ、ユーザープリファレンスのエンコードをより効率的に行い、コンテキスト長を節約し、一般化性能を向上させる。
• クロスモデル知識移行により、小規模でローカルにデプロイされたモデルがパーソナライズド知識を学習し、大規模なリモートLLMに転送することで、リソース要件を低減し、スケーラビリティを向上できる。