[論文レビュー] Efficient Personalized Reranking with Semi-Autoregressive Generation and Online Knowledge Distillation

Kai Cheng, Hao Wang+5 more|arXiv (Cornell University)|Mar 7, 2026

Recommender Systems and Techniques被引用数 0

ひとこと要約

PSAD はオンライン知識蒸留で高品質生成と低遅延推論を両立するパーソナライズド半自己回帰リランキングフレームワーク。深いユーザ–アイテム相互作用を可能にする User Profile Network の活用。

ABSTRACT

Generative models offer a promising paradigm for the final stage reranking in multi-stage recommender systems, with the ability to capture inter-item dependencies within reranked lists. However, their practical deployment still faces two key challenges: (1) an inherent conflict between achieving high generation quality and ensuring low-latency inference, making it difficult to balance the two, and (2) insufficient interaction between user and item features in existing methods. To address these challenges, we propose a novel Personalized Semi-Autoregressive with online knowledge Distillation (PSAD) framework for reranking. In this framework, the teacher model adopts a semi-autoregressive generator to balance generation quality and efficiency, while its ranking knowledge is distilled online into a lightweight scoring network during joint training, enabling real-time and efficient inference. Furthermore, we propose a User Profile Network (UPN) that injects user intent and models interest dynamics, enabling deeper interactions between users and items. Extensive experiments conducted on three large-scale public datasets demonstrate that PSAD significantly outperforms state-of-the-art baselines in both ranking performance and inference efficiency.

研究の動機と目的

• 最終段階のリランキングを改善する動機づけとして、低遅延を維持しつつアイテム間依存性をモデル化する。
• 半自己回帰生成モデルを提案し、生成品質と効率のバランスを取る。
• オンライン知識蒸留を導入して、推論を高速化するための軽量スコアラーへランキング知識を転送する。
• ユーザープロファイルネットワークを開発し、ユーザー–アイテムの相互作用を深くパーソナライズする。
• 大規模データセットで優れたランキング性能と効率を示す。

提案手法

• 共有エンコーダがユーザー履歴と候補アイテムを処理し、結合された疎特徴量とdense特徴量に対して自己注意を適用する。
• 半自己回帰生成器が最終リストをKブロックで構築し、文脈強化ステップとポインター網に類似したブロック単位生成を行う。
• オンライン蒸留フレームワークが、推論遅延を削減するための軽量スコアリングネットワーク（学生）を生成器（教師）とともに訓練し、蒸留損失（KL発散）と教師の確率行列からの減衰ガイダンスを用いる。
• ユーザープロファイルネットワーク（UPN）は、個別のゲートと個別の位置エンコーディングを介してユーザー意図を注入し、アイテム表現と位置バイアスを各ユーザーに適応させる。
• 訓練目的は、生成損失（ポイントワイズ交差エントロピーとリストワイズヒンジ損失）、スコアラ損失、蒸留損失をバランス係数αで組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 半自己回帰生成は生成リランキングにおける品質と遅延のトレードオフを改善できるか。
• RQ2 オンライン蒸留は生成器から軽量スコアラーへランキング知識をリアルタイムで転送できるか。
• RQ3 UPN を組み込むとリランキングにおけるユーザーとアイテムの個別化された相互作用が改善されるか。
• RQ4 個別化位置エンコーディングはユーザー特有の関心ダイナミクスを捉える上でどの程度効果があるか。

主な発見

• PSAD-G（生成器）は、3つの公開データセットにおいてランキング品質で一貫してベースラインを上回る。
• PSAD-S（スコアラー）は、すべての生成ベースラインより推論を高速化し、遅延削減のためのオンライン蒸留の妥当性を検証した。
• オンライン蒸留（PSAD-S）は、オフラインや完全自己回帰法と比較して大幅に推論コストを抑えつつ、ほぼトップクラスの性能を達成する。
• 個別ゲートと個別化位置エンコーディングを備えたUPNは、ユーザー–アイテムの整合性を高め、特に高活動ユーザーの興味の減衰パターンを捉えることで性能を向上させる。
• 文脈強化モジュールを含む半自己回帰生成器は、一度だけの生成より依存関係のモデリングと系列の一貫性を改善する。
• アブレーション研究は、半自己回帰生成、文脈強化、個別化ゲーティング、個別化位置エンコーディングが全体性能にとって重要であることを示す。