[論文レビュー] RAIE: Region-Aware Incremental Preference Editing with LoRA for LLM-based Recommendation

Jin Zeng, Yupeng Qi+5 more|arXiv (Cornell University)|Feb 28, 2026

Recommender Systems and Techniques被引用数 0

ひとこと要約

RAIE は region-level の知識領域と region-specific な LoRA アダプタを導入し、 forgetting を抑制しつつ局所領域だけを更新することで、進化するユーザ嗜好に対して LLM ベースの推薦システムを安定的かつ効率的に適応させる。

ABSTRACT

Large language models (LLMs) are increasingly adopted as the backbone of recommender systems. However, user-item interactions in real-world scenarios are non-stationary, making preference drift over time inevitable. Existing model update strategies mainly rely on global fine-tuning or pointwise editing, but they face two fundamental challenges: (i) imbalanced update granularity, where global updates perturb behaviors unrelated to the target while pointwise edits fail to capture broader preference shifts; (ii) unstable incremental updates, where repeated edits interfere with prior adaptations, leading to catastrophic forgetting and inconsistent recommendations. To address these issues, we propose Region-Aware Incremental Editing (RAIE), a plug-in framework that freezes the backbone model and performs region-level updates. RAIE first constructs semantically coherent preference regions via spherical k-means in the representation space. It then assigns incoming sequences to regions via confidence-aware gating and performs three localized edit operations - Update, Expand, and Add - to dynamically revise the affected region. Each region is equipped with a dedicated Low-Rank Adaptation (LoRA) module, which is trained only on the region's updated data. During inference, RAIE routes each user sequence to its corresponding region and activates the region-specific adapter for prediction. Experiments on two benchmark datasets under a time-sliced protocol that segments data into Set-up (S), Finetune (F), and Test (T) show that RAIE significantly outperforms state-of-the-art baselines while effectively mitigating forgetting. These results demonstrate that region-aware editing offers an accurate and scalable mechanism for continual adaptation in dynamic recommendation scenarios. Our code is available at https://github.com/fengaogao/RAIE.

研究の動機と目的

• 非定常なユーザ嗜好と嗜好ドリフトを LLM ベースの推薦システムで扱う。
• 意味的関心領域に局所化した更新を提供するプラグイン型の領域認識型編集フレームワークを提案する。
• 球状 K-means を用いて意味的に一貫した知識領域を形成し、各領域に専用の LoRA アダプタを割り当てる。
• 領域認識型のルーティングと編集操作（Update、Expand、Add）を開発し、影響を受ける領域のみを更新する。
• Time-sliced evaluation における MovieLens-10M と Yelp で保持と適応の改善を示す。

提案手法

• ユーザ履歴を重複する部分列に分割し、凍結済みの LLM ボトムアップでエンコードし、埋め込みを正規化して球状 K-means でクラスタリングして領域のセントロイドと半径を取得する。
• 各領域ごとに領域特異な LoRA アダプタをボトバックに接続し、領域固有データ（S および F フェーズ）でこれらのアダプタを訓練する。
• F フェーズでは、リージョン・センターとのコサイン類似度を用いて新しい部分列を候補領域へルーティングし、信頼度スコアに基づいて領域のセントロイド/半径および境界を調整する編集操作（Update、Expand、Add）を適用する。
• 領域認識型の編集ルールは、信頼度ギャップ（p* および delta）と閾値に guided され、既存領域の更新、境界の拡張、または新領域の追加の判断を行う。
• 領域特異な LoRA アダプタは、領域データに対する LoRA 目的関数と、領域の重なりを減らすための分離ペナルティ（L_p）を組み合わせた複合損失で訓練される。
• T フェーズでは、各新しい部分列を最も適合する領域へルーティングし、対応する領域特異 LoRA アダプタを用いて予測を行う。

実験結果

リサーチクエスチョン

• RQ1 RAIE はバックボーンモデルとデータセットを横断して最先端のプラグインベースのベースラインと比較してどの程度性能を発揮するか？
• RQ2 知識領域構築、領域認識型編集、領域特異 LoRA 訓練が全体性能に寄与する程度はどの程度か？
• RQ3 RAIE はハイパーパラメータに対してどれだけ敏感で、データセット間で結果は一般化するか？
• RQ4 編集前後の嗜好構造の解釈可能な反映を RAIE は提供するか？

主な発見

Backbone Variant	S.R@10 (MovieLens-10M)	S.N@10 (MovieLens-10M)	T.R@10 (MovieLens-10M)	T.N@10 (MovieLens-10M)
+RAIE (BERT4Rec)	0.1795	0.0957	0.0870	0.0453
+RAIE (SASRec)	0.0686	0.0327	0.0449	0.0123
+RAIE (TiSASRec)	0.1646	0.0868	0.0483	0.0135
+RAIE (OpenP5)	0.2768	0.1686	0.0935	0.0486

• RAIE は MovieLens-10M および Yelp のどちらのデータセットでも、複数のバックボーンに対して time-sliced の Set-up/Test プロトコルで常に最良の予測性能を達成する。
• 領域認識型の編集により、新たな嗜好へ強く適応しつつ過去の嗜好の保持を維持でき、グローバル LoRA やリプレイ/整合性法より優れている。
• 領域特異 LoRA アダプタは drift したユーザ関心へ更新を局所化し、安定領域への干渉を減らして忘却を抑制する。
• RAIE は BERT4Rec、SASRec、TiSASRec、OpenP5 などのバックボーンで T（Test）指標を他を凌駕する一方、S（Set-up）指標も競争力を維持する。
• 領域認識型ルーティングと局所化編集は、動的な推奨シナリオにおいて効果的な継続適応を提供することを実験で確認した。