[論文レビュー] Length-Adaptive Interest Network for Balancing Long and Short Sequence Modeling in CTR Prediction

Zhicheng Zhang, Zhaocheng Du+9 more|arXiv (Cornell University)|Jan 27, 2026

Recommender Systems and Techniques被引用数 0

ひとこと要約

LAINは長さ認識の条件付けをCTRモデルに導入し、Spectral Length Encoder、Length-Conditioned Prompting、Length-Modulated Attentionを用いて全体のCTRおよび短長のシーケンスユーザの性能を最小限のオーバーヘッドで改善します。

ABSTRACT

User behavior sequences in modern recommendation systems exhibit significant length heterogeneity, ranging from sparse short-term interactions to rich long-term histories. While longer sequences provide more context, we observe that increasing the maximum input sequence length in existing CTR models paradoxically degrades performance for short-sequence users due to attention polarization and length imbalance in training data. To address this, we propose LAIN(Length-Adaptive Interest Network), a plug-and-play framework that explicitly incorporates sequence length as a conditioning signal to balance long- and short-sequence modeling. LAIN consists of three lightweight components: a Spectral Length Encoder that maps length into continuous representations, Length-Conditioned Prompting that injects global contextual cues into both long- and short-term behavior branches, and Length-Modulated Attention that adaptively adjusts attention sharpness based on sequence length. Extensive experiments on three real-world benchmarks across five strong CTR backbones show that LAIN consistently improves overall performance, achieving up to 1.15% AUC gain and 2.25% log loss reduction. Notably, our method significantly improves accuracy for short-sequence users without sacrificing longsequence effectiveness. Our work offers a general, efficient, and deployable solution to mitigate length-induced bias in sequential recommendation.

研究の動機と目的

• 現在のCTRモデルにおける長いシーケンスと短いシーケンスのユーザ間の性能不均衡を特定する。
• シーケンス長に応じて興味モデリングを平衡化する長さ適応フレームワークを提案する。
• 長さ認識 conditioned により短いシーケンスの精度を向上させ、長いシーケンスの性能を犠牲にしないことを示す。
• 複数のバックボーンとデータセットに対するLAINの頑健性と導入可能性を実証する。

提案手法

• Rawシーケンス長を連続埋め込みへ写像するSpectral Length Encoderを導入する。
• 短期および長期の動作シーケンスの前に長さ認識プロンプトを付与するLength-Conditioned Promptingを開発する。
• Length-Modulated Attentionを実装し、長さ事前情報に基づいてクエリ/キーを条件付けしsoftmax温度を調整する。
• 共有パラメータと長さ特異パラメータをプロンプトを介してデカップリングし、長さ依存の帰納的バイアスを可能にする。
• 最小のパラメータ/計算オーバーヘッドでエンドツーエンド訓練を提供する。
• 実世界データセット3つで5つの強力なCTRバックボーンを用いてLAINを評価する。

実験結果

リサーチクエスチョン

• RQ1 シーケンス長の明示的条件付けはCTRモデルにおける注意の極性化と長さ信号の不足を緩和できるか。
• RQ2 LAINは多様なバックボーンとデータセットで短いシーケンスのCTRを改善し、長いシーケンスの性能を損なわずに済むか。
• RQ3 各々のLAINの構成要素（SLE、LCP、LMA）とそれらの相互作用の経験的影響はどのようか。
• RQ4 LAINはハイパーパラメータ選択や異なるシーケンス長分布に対してどれだけ頑健か。

主な発見

Model	EBNeRD-small GAUC	EBNeRD-small AUC	EBNeRD-small logloss	KuaiVideo GAUC	KuaiVideo AUC	KuaiVideo logloss	MicroVideo1.7M GAUC	MicroVideo1.7M AUC	MicroVideo1.7M logloss
DIN	0.7053	0.7080	0.2695	0.6716	0.6979	0.4498	0.7023	0.7093	0.4196
+LAIN	0.7096	0.7156	0.2678	0.6742	0.7043	0.4457	0.7019	0.7101	0.4179
Rel. Gain	0.61%	1.07%	-0.65%	0.40%	0.93%	-0.92%	-0.05%	0.12%	-0.40%
DIEN	0.7090	0.7099	0.2737	0.6678	0.6977	0.4509	0.7143	0.7185	0.4171
+LAIN	0.7078	0.7118	0.2676	0.6688	0.6991	0.4476	0.7146	0.7219	0.4161
Rel. Gain	-0.17%	0.27%	-2.25%	0.14%	0.20%	-0.71%	0.04%	0.47%	-0.23%
SIM	0.6960	0.6992	0.2720	0.6672	0.6875	0.4574	0.7017	0.7095	0.4168
+LAIN	0.6990	0.7037	0.2706	0.6678	0.6896	0.4566	0.7070	0.7131	0.4151
Rel. Gain	0.43%	0.65%	-0.50%	0.08%	0.31%	-0.16%	0.75%	0.50%	-0.41%
SDIM	0.7039	0.7099	0.2719	0.6729	0.6924	0.4536	0.6984	0.7161	0.4129
+LAIN	0.7099	0.7123	0.2704	0.6732	0.6949	0.4525	0.6993	0.7163	0.4121
Rel. Gain	0.85%	0.34%	-0.56%	0.05%	0.35%	-0.23%	0.13%	0.03%	-0.18%
TWIN	0.6930	0.6993	0.2718	0.6729	0.6918	0.4530	0.7060	0.7158	0.4164
+LAIN	0.7012	0.7074	0.2698	0.6748	0.6976	0.4508	0.7093	0.7233	0.4097
Rel. Gain	1.19%	1.15%	-0.73%	0.29%	0.84%	-0.48%	0.47%	1.05%	-1.63%

• LAINはバックボーンとデータセットを跨いで全体的なCTR性能を一貫して改善し、GAUCが最大で +1.2%、loglossが最大で -1.6%の削減を達成。
• LAINは特に短いシーケンスユーザの精度を向上させ、MicroVideo1.7MのTWINでAUCが最大で +1.08%、loglossが最大で -2.17%の改善を達成。
• 注意の極性化はLAINにより緩和され、短・中・長のシーケンス全体でベースラインより大幅に小さいジニ係数を示す。
• アブレーションでは全構成要素が寄与しており、LMAを除くと最大の性能低下が生じる。
• ハイパーパラメータ感度分析は設定間で頑健な利得を示す（選択設定: Fourier dim 64, hidden 512, prompts 4）よく。