[论文解读] Efficient Transfer Learning Schemes for Personalized Language Modeling using Recurrent Neural Network

Seunghyun Yoon, Hyeongu Yun+3 more|arXiv (Cornell University)|Jan 13, 2017

Topic Modeling参考文献 14被引用 16

一句话总结

本文提出了一种高效的迁移学习方案，用于使用LSTM-RNN训练个性化语言模型，实现在移动设备上使用极少的用户数据进行微调，且无数据泄露。通过从通用语言模型迁移知识，并应用层冻结和多余层插入等技术，该方法在显著降低训练成本的同时，实现了与用户特定对话模式高度相似的风格。

ABSTRACT

In this paper, we propose an efficient transfer leaning methods for training a personalized language model using a recurrent neural network with long short-term memory architecture. With our proposed fast transfer learning schemes, a general language model is updated to a personalized language model with a small amount of user data and a limited computing resource. These methods are especially useful for a mobile device environment while the data is prevented from transferring out of the device for privacy purposes. Through experiments on dialogue data in a drama, it is verified that our transfer learning methods have successfully generated the personalized language model, whose output is more similar to the personal language style in both qualitative and quantitative aspects.

研究动机与目标

• 在计算资源受限的移动设备上实现个性化语言建模，且无需将用户数据传输至设备外部。
• 与端到端训练相比，降低训练个性化语言模型的计算和数据需求。
• 通过从通用预训练模型迁移学习并在本地设备上训练个性化模型，保护用户隐私。
• 利用高效的微调方案，在有限的目标数据上提升模型的泛化能力和风格适应性。

提出的方法

• 在大规模语料（如WMT、'Friends'剧本）上使用高性能机器预训练通用语言模型。
• 将预训练模型的前n层迁移至目标模型，用于在用户设备上进行个性化适应。
• 使用迁移学习方案在用户的私有对话数据上进行微调：'固定-n层'和'多余层'方案。
• '固定-n层'方案冻结基础模型的前n层，仅微调剩余层。
• '多余层'方案在已迁移的层之上增加一个额外层，以增强个性化数据的表征能力。
• 模型适应在移动设备上本地完成，确保用户数据不离开设备，从而保护隐私。

实验结果

研究问题

• RQ1 能否仅使用少量私有用户数据，在移动设备上有效训练个性化语言模型？
• RQ2 如何通过从通用语言模型迁移学习来提升个性化效果，同时最小化计算成本和数据传输？
• RQ3 '固定-n层'与'多余层'哪种迁移学习方案在个性化语言建模中能实现更好的泛化能力和风格适应性？
• RQ4 微调后的模型在多大程度上捕捉了目标用户的语言风格，相较于通用模型？

主要发现

• '多余层'和'固定-n层'方案在参数量显著减少的情况下，泛化性能优于基线模型。
• 个性化语言模型在定性和定量评估中均表现出与目标用户对话风格更高的相似性。
• 当模型在'Chandler'语料上微调时，交叉熵损失最低，表明与目标用户语言风格的对齐效果最佳。
• 在'Friends'剧本上预训练并在'Chandler'数据上微调的模型，其生成的回复与Chandler的真实对话更相似，而非其他角色的对话。
• 该模型仅需极少用户数据即可实现有效个性化，降低了深度学习中通常所需的海量训练数据需求。