[论文解读] AutoFT: Automatic Fine-Tune for Parameters Transfer Learning in Click-Through Rate Prediction

Xiangli Yang, Qing Liu+4 more|arXiv (Cornell University)|Jun 9, 2021

Recommender Systems and Techniques参考文献 26被引用 4

一句话总结

AutoFT 提出了一种端到端的自动微调框架，用于点击率（CTR）预测，通过为嵌入字段和网络层学习实例特定的迁移策略。通过使用带有 Gumbel-Softmax 的轻量级策略网络，AutoFT 超越了当前最先进方法，在 MovieLens-1M 上达到 0.7932 AUC，在 Amazon 上达到 0.7166 AUC，显著提升了在多样化目标领域中的泛化能力，且无需手动调整超参数。

ABSTRACT

Recommender systems are often asked to serve multiple recommendation scenarios or domains. Fine-tuning a pre-trained CTR model from source domains and adapting it to a target domain allows knowledge transferring. However, optimizing all the parameters of the pre-trained network may result in over-fitting if the target dataset is small and the number of parameters is large. This leads us to think of directly reusing parameters in the pre-trained model which represent more general features learned from multiple domains. However, the design of freezing or fine-tuning layers of parameters requires much manual effort since the decision highly depends on the pre-trained model and target instances. In this work, we propose an end-to-end transfer learning framework, called Automatic Fine-Tuning (AutoFT), for CTR prediction. AutoFT consists of a field-wise transfer policy and a layer-wise transfer policy. The field-wise transfer policy decides how the pre-trained embedding representations are frozen or fine-tuned based on the given instance from the target domain. The layer-wise transfer policy decides how the high?order feature representations are transferred layer by layer. Extensive experiments on two public benchmark datasets and one private industrial dataset demonstrate that AutoFT can significantly improve the performance of CTR prediction compared with state-of-the-art transferring approaches.

研究动机与目标

• 为解决在小目标领域数据集上微调大型预训练 CTR 模型时出现的过拟合问题。
• 消除手动决定每个实例中哪些模型组件（嵌入或层）应被冻结或微调的工作量。
• 开发一种与模型架构无关的迁移学习框架，兼容各种深度 CTR 模型。
• 通过学习嵌入字段和网络层的动态策略，实现细粒度的、实例特定的知识迁移。
• 通过选择性重用预训练模型中的通用特征，同时适应领域特定模式，提升目标领域上的 CTR 预测性能。

提出的方法

• AutoFT 引入了一种按字段的迁移策略，根据目标实例决定每个特征字段是使用预训练的嵌入表示还是微调后的表示。
• 它采用了一种按层的迁移策略，用于确定深度网络和交叉网络中每一层是使用预训练参数还是微调参数。
• 通过使用 Gumbel-Softmax 松弛方法，轻量级策略网络与目标模型端到端联合训练，实现迁移决策的可微采样。
• 该框架联合优化 CTR 预测头和迁移策略，使模型能够为每个实例学习最优的参数复用策略。
• 该方法通过将迁移策略与主干网络解耦，可兼容任何深度 CTR 模型架构，如 DCN、DNN 和 DeepFM。
• 实验使用 AUC 和对数损失作为评估指标，在公开数据集（MovieLens-1M、Amazon）和私有工业数据集上验证了性能。

实验结果

研究问题

• RQ1 与全微调或固定冻结策略相比，自动的、实例特定的迁移策略是否能提升 CTR 预测性能？
• RQ2 当选择性地迁移不同嵌入字段时，按字段的策略对性能有何影响？
• RQ3 按层的策略是否自适应地为更高层分配更多微调，反映出其领域特定的特性？
• RQ4 AutoFT 是否兼容多种深度 CTR 模型，包括具有不同深度和宽度的网络？
• RQ5 所学习的迁移策略是否能在项目和用户重叠程度不同的数据集之间实现泛化？

主要发现

• 在 MovieLens-1M 上，AutoFT 达到 0.7932 AUC，在 Amazon 评论数据上达到 0.7166 AUC，分别优于 All-Fine-Tune 基线 0.0089 和 0.0025 AUC。
• 移除按字段的策略或其中一个按层的策略网络会导致性能显著下降，证实了二者各自的贡献。
• 在 MovieLens-1M 上，按字段的策略对性能提升的贡献大于按层的策略，表明字段级别的迁移具有更强的收益。
• 可视化结果显示，80% 的高层层实例使用微调参数，表明深层更具有领域特定性，需要适应。
• AutoFT 在不同 CTR 模型（DCN、DNN、DeepFM）上均保持一致的性能增益，证明其与多种架构具有强兼容性。
• 该框架通过选择性重用预训练模型中的通用特征，同时适应目标特定模式，有效减少了在小目标数据集上的过拟合。