[论文解读] CTRL: Connect Collaborative and Language Model for CTR Prediction

Xiang‐Yang Li, Bo Chen+2 more|arXiv (Cornell University)|Jun 5, 2023

Recommender Systems and Techniques被引用 4

一句话总结

本文提出CTRL，一种新颖的框架，通过将表格数据转换为文本形式并执行跨模态知识对齐，将协同过滤模型与预训练语言模型连接起来，用于点击率（CTR）预测。该方法在推理延迟较低的情况下实现了最先进（SOTA）的性能，相较于SOTA模型在在线CTR上提升5%，并通过在对齐后部署轻量级协同模型，保持了工业应用的高效性。

ABSTRACT

Traditional click-through rate (CTR) prediction models convert the tabular data into one-hot vectors and leverage the collaborative relations among features for inferring the user's preference over items. This modeling paradigm discards essential semantic information. Though some works like P5 and CTR-BERT have explored the potential of using Pre-trained Language Models (PLMs) to extract semantic signals for CTR prediction, they are computationally expensive and suffer from low efficiency. Besides, the beneficial collaborative relations are not considered, hindering the recommendation performance. To solve these problems, in this paper, we propose a novel framework extbf{CTRL}, which is industrial-friendly and model-agnostic with superior inference efficiency. Specifically, the original tabular data is first converted into textual data. Both tabular data and converted textual data are regarded as two different modalities and are separately fed into the collaborative CTR model and pre-trained language model. A cross-modal knowledge alignment procedure is performed to fine-grained align and integrate the collaborative and semantic signals, and the lightweight collaborative model can be deployed online for efficient serving after fine-tuned with supervised signals. Experimental results on three public datasets show that CTRL outperforms the state-of-the-art (SOTA) CTR models significantly. Moreover, we further verify its effectiveness on a large-scale industrial recommender system.

研究动机与目标

• 解决传统CTR模型因对表格特征进行独热编码而丢失语义信息的局限性。
• 将预训练语言模型（PLM）的语义信号与表格数据的协同信号相结合，以提升推荐准确性。
• 通过仅在知识对齐后部署轻量级协同模型，克服PLM在工业环境中高推理成本的问题。
• 开发一种与模型无关、适合工业应用的框架，在无需大量工程优化的情况下保持高效率。

提出的方法

• 使用人工设计的提示将原始表格特征转换为自然语言文本，以支持PLM处理。
• 将表格数据和文本数据视为两种独立模态，分别输入协同CTR模型和预训练语言模型。
• 通过对比学习实现跨模态知识对齐，以细粒度方式对齐并整合协同信号与语义信号。
• 使用对齐表示中的监督信号微调协同模型，用于下游CTR预测。
• 在在线推理中仅部署轻量级协同模型，确保低延迟推理。
• 评估提示工程策略，以优化输入文本质量，提升PLM性能。

实验结果

研究问题

• RQ1 如何有效结合协同信号与语义信号，以超越孤立建模的方式提升CTR预测性能？
• RQ2 表格表示与文本表示之间的跨模态知识对齐是否能提升推荐性能？
• RQ3 在与PLM信号对齐后，轻量级协同模型在多大程度上可实现SOTA性能？
• RQ4 所提出的框架是否能在保持低推理延迟的同时，在工业环境中超越现有SOTA模型？

主要发现

• CTRL在公开数据集上AUC达到0.6683，显著优于最佳基线模型（DeepFM为0.6547）以及SOTA模型如CTR-BERT和P5。
• CTRL将logloss降低至0.1606，相比次优模型（AutoInt为0.1713）展现出更优的优化性能。
• 在大规模工业系统中的在线A/B测试显示，CTRL相较基线模型实现了5%的CTR相对提升。
• 该框架的推理延迟与基础协同模型保持一致，证明了其工业效率与可部署性。
• 提示工程结果表明，自然语言提示（如“用户年龄：25，性别：男”）优于基于规则或掩码的变体，其中Prompt-1表现最佳。
• 消融实验证实，包含特征字段（如“年龄”、“性别”）以及流畅且语义丰富的句子能显著提升模型性能。