[论文解读] Length-Adaptive Interest Network for Balancing Long and Short Sequence Modeling in CTR Prediction

Zhicheng Zhang, Zhaocheng Du+9 more|arXiv (Cornell University)|Jan 27, 2026

Recommender Systems and Techniques被引用 0

一句话总结

LAIN 引入了面向长度的条件化来 CTR 模型，使用光谱长度编码器、长度条件提示和长度调制注意力，在整体 CTR 和短序列用户表现上都实现了提升，开销极小。

ABSTRACT

User behavior sequences in modern recommendation systems exhibit significant length heterogeneity, ranging from sparse short-term interactions to rich long-term histories. While longer sequences provide more context, we observe that increasing the maximum input sequence length in existing CTR models paradoxically degrades performance for short-sequence users due to attention polarization and length imbalance in training data. To address this, we propose LAIN(Length-Adaptive Interest Network), a plug-and-play framework that explicitly incorporates sequence length as a conditioning signal to balance long- and short-sequence modeling. LAIN consists of three lightweight components: a Spectral Length Encoder that maps length into continuous representations, Length-Conditioned Prompting that injects global contextual cues into both long- and short-term behavior branches, and Length-Modulated Attention that adaptively adjusts attention sharpness based on sequence length. Extensive experiments on three real-world benchmarks across five strong CTR backbones show that LAIN consistently improves overall performance, achieving up to 1.15% AUC gain and 2.25% log loss reduction. Notably, our method significantly improves accuracy for short-sequence users without sacrificing longsequence effectiveness. Our work offers a general, efficient, and deployable solution to mitigate length-induced bias in sequential recommendation.

研究动机与目标

• 识别当前 CTR 模型中长序列用户与短序列用户之间的性能不平衡。
• 提出一个长度自适应框架，在不同序列长度之间平衡兴趣建模。
• 证明长度条件化在不牺牲长序列性能的情况下提升短序列精度。
• 展示 LAIN 在多种骨干网络和数据集上的鲁棒性与可部署性。

提出的方法

• 引入 Spectral Length Encoder，将原始序列长度映射到可训练傅里叶基的连续嵌入。
• 开发 Length-Conditioned Prompting，在短期和长期行为序列前置长度感知提示。
• 实现 Length-Modulated Attention，基于长度先验对查询/键进行条件化并调整 softmax 温度。
• 通过提示解耦共享参数与长度特定参数，建立长度相关的归纳偏置。
• 提供端到端训练，参数/计算开销微小。
• 在三个真实世界数据集与五个强 CTR 骨干网络上评估 LAIN。

实验结果

研究问题

• RQ1 显式对序列长度进行条件化是否能够缓解 CTR 模型中的注意力偏极化和长度信号不足？
• RQ2 LAIN 是否在不同骨干与数据集上提升短序列用户 CTR，同时不损害长序列性能？
• RQ3 每个 LAIN 组件（SLE、LCP、LMA）及其相互作用的经验影响如何？
• RQ4 对于超参数选择和不同序列长度分布，LAIN 的鲁棒性如何？

主要发现

Model	EBNeRD-small GAUC	EBNeRD-small AUC	EBNeRD-small logloss	KuaiVideo GAUC	KuaiVideo AUC	KuaiVideo logloss	MicroVideo1.7M GAUC	MicroVideo1.7M AUC	MicroVideo1.7M logloss
DIN	0.7053	0.7080	0.2695	0.6716	0.6979	0.4498	0.7023	0.7093	0.4196
+LAIN	0.7096	0.7156	0.2678	0.6742	0.7043	0.4457	0.7019	0.7101	0.4179
Rel. Gain	0.61%	1.07%	-0.65%	0.40%	0.93%	-0.92%	-0.05%	0.12%	-0.40%
DIEN	0.7090	0.7099	0.2737	0.6678	0.6977	0.4509	0.7143	0.7185	0.4171
+LAIN	0.7078	0.7118	0.2676	0.6688	0.6991	0.4476	0.7146	0.7219	0.4161
Rel. Gain	-0.17%	0.27%	-2.25%	0.14%	0.20%	-0.71%	0.04%	0.47%	-0.23%
SIM	0.6960	0.6992	0.2720	0.6672	0.6875	0.4574	0.7017	0.7095	0.4168
+LAIN	0.6990	0.7037	0.2706	0.6678	0.6896	0.4566	0.7070	0.7131	0.4151
Rel. Gain	0.43%	0.65%	-0.50%	0.08%	0.31%	-0.16%	0.75%	0.50%	-0.41%
SDIM	0.7039	0.7099	0.2719	0.6729	0.6924	0.4536	0.6984	0.7161	0.4129
+LAIN	0.7099	0.7123	0.2704	0.6732	0.6949	0.4525	0.6993	0.7163	0.4121
Rel. Gain	0.85%	0.34%	-0.56%	0.05%	0.35%	-0.23%	0.13%	0.03%	-0.18%
TWIN	0.6930	0.6993	0.2718	0.6729	0.6918	0.4530	0.7060	0.7158	0.4164
+LAIN	0.7012	0.7074	0.2698	0.6748	0.6976	0.4508	0.7093	0.7233	0.4097
Rel. Gain	1.19%	1.15%	-0.73%	0.29%	0.84%	-0.48%	0.47%	1.05%	-1.63%

• LAIN 在不同骨干和数据集上持续提升整体 CTR 性能，GAUC 最高提升至 +1.2%，logloss 最多降低至 -1.6%。
• LAIN 显著提升短序列用户（少于 100）的准确性，在 MicroVideo1.7M 的 TWIN 上 AUC 提升至 +1.08%，logloss 降至 -2.17%。
• 注意力极化被 LAIN 缓解，在短、中、长序列下的 Gini 系数显著低于基线。
• 消融研究显示所有组件均有贡献；移除 LMA 会导致最大的性能下降。
• 超参数敏感性分析显示在不同配置下仍能获得鲁棒提升（选定设置：傅里叶维度 64，隐藏层 512，提示数量 4）。