[논문 리뷰] Enhancing Bandit Algorithms with LLMs for Time-varying User Preferences in Streaming Recommendations

Chenglei Shen, Yi Zhan외 3명|arXiv (Cornell University)|2026. 02. 08.

Advanced Bandit Algorithms Research인용 수 0

한 줄 요약

HyperBandit+는 스트리밍 추천에서 시간에 따라 변하는 사용자 선호를 다루기 위해 시간 인식 하이퍼네트워크와 LLM 보조 워밍업을 도입하고, 서브선형 후회 보장과 강력한 실험 성능을 제공합니다.

ABSTRACT

In real-world streaming recommender systems, user preferences evolve dynamically over time. Existing bandit-based methods treat time merely as a timestamp, neglecting its explicit relationship with user preferences and leading to suboptimal performance. Moreover, online learning methods often suffer from inefficient exploration-exploitation during the early online phase. To address these issues, we propose HyperBandit+, a novel contextual bandit policy that integrates a time-aware hypernetwork to adapt to time-varying user preferences and employs a large language model-assisted warm-start mechanism (LLM Start) to enhance exploration-exploitation efficiency in the early online phase. Specifically, HyperBandit+ leverages a neural network that takes time features as input and generates parameters for estimating time-varying rewards by capturing the correlation between time and user preferences. Additionally, the LLM Start mechanism employs multi-step data augmentation to simulate realistic interaction data for effective offline learning, providing warm-start parameters for the bandit policy in the early online phase. To meet real-time streaming recommendation demands, we adopt low-rank factorization to reduce hypernetwork training complexity. Theoretically, we rigorously establish a sublinear regret upper bound that accounts for both the hypernetwork and the LLM warm-start mechanism. Extensive experiments on real-world datasets demonstrate that HyperBandit+ consistently outperforms state-of-the-art baselines in terms of accumulated rewards.

연구 동기 및 목표

• 스트리밍 추천에서 시계열 변화하는 사용자 선호를 다루는 동기를 제시한다.
• 시간 구간 의 보상은 시간에 따라 변하는 사용자 선호 행렬로 모델링한다.
• LLM 기반 오프라인 워밍업을 통해 콜드 스타트에서 탐색–활용을 향상시킨다.
• 저랭크 하이퍼네트워크 매개변수화로 학습 복잡도를 줄인다.
• 제안된 프레임워크에 대한 이론적 후회 보장을 제공한다.

제안 방법

• 시간 주기 인식 하이퍼네트워크를 사용하여 사용자 선호 매핑을 생성하는 HyperBandit+를 도입한다.
• 참된 시변 보상을 r*(u,a,p) = c_a^T Theta_p^* c_u 로 정의하고 시간 구간에 걸쳐 Theta_p를 학습한다.
• 잠재 특징과 관찰 특징을 각각 보강하기 위해 LLM Start와 LLM-Enhanced Embedding을 활용한다.
• 저랭크 인수분해를 사용하여 하이퍼네트워크 출력을 압축하고 온라인 학습을 가속화한다.
• 오프라인 단계에는 사이드 정보용 Euler Embedding과 LLM-Enhanced Embedding이 포함되고; LLM Start는 워밍스타트를 위한 데이터를 시뮬레이션한다.
• 잠재 특징에 대한 닫힌형 해를 갖는 릿지 회귀로 온라인에서 정책을 업데이트한다.

실험 결과

연구 질문

• RQ1 스트리밍 컨텍스트 밴딧에서 주기적/시계열 변화하는 사용자 선호를 어떻게 명시적으로 모델링하고 적응시킬 수 있을까?
• RQ2 하이퍼네트워크가 시간 주기별 특정 사용자 선호 매트릭스를 생성하여 추천 정확도를 향상시킬 수 있을까?
• RQ3 LLM 기반 데이터 보강이 초기 탐색-활용 문제를 완화하기 위한 의미 있는 워밍스타트를 제공하는가?
• RQ4 시간 인식 하이퍼네트워크와 LLM 기반 워밍 스타트를 통합한 밴딧 정책에 대한 이론적 후회 보장은 무엇인가?

주요 결과

• HyperBandit+는 하이퍼네트워크 및 LLM 워밍스타트 메커니즘을 고려한 서브선형 후회를 달성한다.
• 실세계 데이터셋에 대한 실험 결과 HyperBandit+는 누적 보상에서 최첨단 기준선보다 일관되게 우수한 성능을 보인다.
• 저랭크 인수분해는 성능을 저하시키지 않으면서 학습 복잡도를 감소시킨다.
• LLM Start는 효과적인 오프라인 데이터 보강을 제공하여 초기 온라인 탐색–활용 효율성을 개선한다.
• LLM-Enhanced Embedding은 사용자 및 아이템 표현을 풍부하게 하여 사이드 정보의 품질을 향상시킨다.