[논문 리뷰] Large Language Models for User Interest Journeys

Konstantina Christakopoulou, Alberto Lalama외 11명|arXiv (Cornell University)|2023. 05. 24.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 활용하여 상호작용 로그에서 개인화되고 지속적인 사용자 관심 여정을 군집화와 프롬프트 튜닝을 통해 추출하고 이름을 지어주는 프레임워크를 제안한다. LLMs가 '초보자로 우쿠레레 연주하기'와 같은 세밀하고 인간다운 사용자 관심에 대한 묘사를 생성할 수 있음을 입증함으로써, 산업 플랫폼에서 더 이해하기 쉬우며 여정 기반의 추천이 가능한 시스템을 가능하게 한다.

ABSTRACT

Large language models (LLMs) have shown impressive capabilities in natural language understanding and generation. Their potential for deeper user understanding and improved personalized user experience on recommendation platforms is, however, largely untapped. This paper aims to address this gap. Recommender systems today capture users' interests through encoding their historical activities on the platforms. The generated user representations are hard to examine or interpret. On the other hand, if we were to ask people about interests they pursue in their life, they might talk about their hobbies, like I just started learning the ukulele, or their relaxation routines, e.g., I like to watch Saturday Night Live, or I want to plant a vertical garden. We argue, and demonstrate through extensive experiments, that LLMs as foundation models can reason through user activities, and describe their interests in nuanced and interesting ways, similar to how a human would. We define interest journeys as the persistent and overarching user interests, in other words, the non-transient ones. These are the interests that we believe will benefit most from the nuanced and personalized descriptions. We introduce a framework in which we first perform personalized extraction of interest journeys, and then summarize the extracted journeys via LLMs, using techniques like few-shot prompting, prompt-tuning and fine-tuning. Together, our results in prompting LLMs to name extracted user journeys in a large-scale industrial platform demonstrate great potential of these models in providing deeper, more interpretable, and controllable user understanding. We believe LLM powered user understanding can be a stepping stone to entirely new user experiences on recommendation platforms that are journey-aware, assistive, and enabling frictionless conversation down the line.

연구 동기 및 목표

• 일시적인 상호작용을 넘어서 지속적인 사용자 관심을 모델링함으로써 추천 시스템 내에서 깊이 있고 해석 가능한 사용자 이해의 격차를 해소한다.
• 학습한 악기나 취미를 추구하는 것과 같은 장기적인 사용자 목표와 여정을 지원할 수 있도록 추천 플랫폼을 구현한다.
• 개인화된 군집화와 LLM 프롬프팅을 결합하여 일관되고 비일시적인 사용자 관심 여정을 추출하고 이름을 지어주는 프레임워크를 개발한다.
• 프롬프팅 기법, 모델 아키텍처, 데이터 품질이 생성된 여정 이름의 품질에 미치는 영향을 조사한다.
• LLM 기반 사용자 모델링을 통해 여정 기반, 보조적이고 제어 가능한 사용자 경험의 기반을 마련한다.

제안 방법

• 장기적인 사용자 상호작용 시퀀스에 개인화된 군집화를 적용하여 일관되고 지속적인 관심 여정을 추출한다.
• 소수의 예시 프롬프팅, 프롬프트 튜닝, 파인튜닝을 사용하여 LLMs를 자연어로 추출된 여정을 이름 지으려는 작업에 맞춘다.
• 일관성 있고 품질 높은 LLM 출력을 향상시키기 위해 전문가가 이름을 지은 사용자 관심 사례의 코어티드 컬렉션을 학습 데이터로 활용한다.
• 스케일링 가능한 산업용 추천 플랫폼에 LLM이 생성한 여정 이름을 통합하여 실세계 평가를 수행한다.
• 구성 가능한 군집화 파rameter를 통해 추출된 여정의 세분성 수준을 제어함으로써 검토 및 사용자 제어를 가능하게 한다.
• 콘텐츠 이해와 군집화를 융합하여 사용자 관심을 고립된 상호작용이 아닌 지속적이고 목표 지향적인 여정으로 모델링한다.

실험 결과

연구 질문

• RQ1 LLMs는 인간의 묘사만큼 세밀하고 해석 가능한 자연어로 사용자 관심 여정을 기술할 수 있는가?
• RQ2 다양한 프롬프팅 기법(예: 소수의 예시, 프롬프트 튜닝, 파인튜닝)은 생성된 여정 이름의 품질과 일관성에 어떤 영향을 미치는가?
• RQ3 학습 데이터의 품질과 도메인 특수성은 LLMs가 사용자 여정 이해 작업에 얼마나 잘 맞출 수 있는지에 어떤 역할을 하는가?
• RQ4 개인화된 상호작용 로그 군집화가 다른 방법들과 비교해 일관되고 지속적인 사용자 여정을 어떻게 더 잘 추출하는가?
• RQ5 LLM 기반 여정 모델링은 사용자 이해를 얼마나 향상시키며, 새로운 보조적 추천 경험을 가능하게 하는가?

주요 결과

• LLMs는 '이탈리안 요리 레시피 요리하기' 또는 '초보자로 우쿠레레 배우기'와 같은 세밀하고 인간다운 사용자 관심 여정 묘사를 생성할 수 있으며, 사용자 활동 시퀀스에 대한 강력한 추론 능력을 보여준다.
• 작지만 고도로 품질 높은 전문가가 수집한 이름이 부여된 여정 데이터 세트를 활용한 프롬프트 튜닝이 다양한 사용자 프로필 전반에서 가장 우수한 일반화 능력과 성능을 보인다.
• 개인화된 군집화 없이선 LLMs가 의미 있고 중복되지 않는 관심 패턴을 유추하는 데 어려움을 겪으며, 이는 일관되고 지속적인 여정을 추출하는 데 필수적이다.
• 도메인 특화된 여정 데이터로 LLMs를 파인튜닝하면 제로샷 프롬프팅에 비해 생성된 이름의 관련성과 해석 가능성 모두가 크게 향상된다.
• 이 프레임워크는 이해하기 쉽고 제어 가능한 사용자 모델링을 가능하게 하여, 사용자가 특정 관심사에 대해 콘텐츠를 증가시키거나 감소시키는 등의 조작을 여정 단위로 수행할 수 있도록 한다.
• 이 접근법은 산업용 추천 플랫폼에서 대규모로 검증되었으며, 여정 기반, 보조적이고 번거로움이 없는 사용자 경험을 위한 강력한 잠재력을 보여준다.