[论文解读] Generative Knowledge Transfer for Neural Language Models

Sungho Shin, Kyuyeon Hwang+1 more|arXiv (Cornell University)|Aug 14, 2016

Privacy-Preserving Technologies in Data参考文献 31被引用 8

一句话总结

本文提出生成式知识迁移（GKT），一种隐私保护方法，通过仅使用生成文本和软标签，将教师网络的知识迁移至学生网络，从而在训练基于RNN的语言模型时避免直接使用用户数据。该方法在实现强大性能提升的同时，通过基于集成的软标签聚合实现稳健的隐私保护，尤其适用于在不暴露私有数据的情况下适应用户特定表达的语言模型。

ABSTRACT

In this paper, we propose a generative knowledge transfer technique that trains an RNN based language model (student network) using text and output probabilities generated from a previously trained RNN (teacher network). The text generation can be conducted by either the teacher or the student network. We can also improve the performance by taking the ensemble of soft labels obtained from multiple teacher networks. This method can be used for privacy conscious language model adaptation because no user data is directly used for training. Especially, when the soft labels of multiple devices are aggregated via a trusted third party, we can expect very strong privacy protection.

研究动机与目标

• 解决使用用户生成数据训练语言模型时的隐私问题，特别是在移动设备或联网设备中，数据收集会引发用户隐私担忧。
• 开发一种知识迁移技术，避免直接访问用户数据或模型参数，从而降低成员推断或数据重建攻击的风险。
• 在保护用户隐私的前提下，实现对用户特定语言模式（如新潮或流行表达）的有效语言模型适应，通过安全聚合软标签实现。
• 探索两种变体：教师驱动（TDGKT）和学生驱动（SDGKT）的GKT，其中SDGKT通过去中心化的文本生成提供更强的隐私保障。

提出的方法

• 该方法采用教师-学生训练框架，其中先前训练好的RNN语言模型（教师）生成文本序列及其对应的软标签概率。
• 学生网络仅基于生成的文本和教师提供的软标签进行训练，不访问原始训练数据或模型参数。
• 在TDGKT中，教师网络负责生成训练文本；在SDGKT中，学生网络生成文本，但仍从教师的软标签中学习。
• 为增强隐私保护，多个用户设备的语言模型生成软标签，由可信第三方聚合平均后用于训练集中式主服务器语言模型。
• 该方法利用集成软标签提升模型泛化能力和鲁棒性，同时通过在标签聚合过程中注入噪声实现差分隐私。
• 多周期SDGKT可实现仅教师知晓的未登录词（OOV）向学生网络的迁移，确保对语言趋势演变的适应。

实验结果

研究问题

• RQ1 能否在不暴露用户数据或模型参数的情况下，实现从私有用户语言模型的知识迁移？
• RQ2 生成式知识迁移在保护隐私的同时，对用户特定语言模式的适应性有多有效？
• RQ3 在语言模型训练中，使用单个教师的软标签与使用教师集成的软标签之间，性能权衡如何？
• RQ4 学生驱动的GKT（SDGKT）是否在保持相近模型性能的同时，相比教师驱动的GKT（TDGKT）提供更强的隐私保护？
• RQ5 GKT能否在无直接数据访问的情况下，有效实现教师网络到学生网络的未登录词（OOV）知识迁移？

主要发现

• 通过SDGKT训练的主服务器语言模型在100个用户设备下，全量测试数据的测试BPC达到1.322，优于单个用户模型的平均BPC 1.346。
• 在私有测试数据上，BPC从初始预训练模型的1.359降低至1.247（100台设备），表明对用户特定语言的有效适应。
• SDGKT与TDGKT性能几乎相同，但SDGKT因去中心化文本生成而提供更强的隐私保障。
• 通过多周期SDGKT，模型成功学习并适应了未登录词（如新造词或流行语），即使无直接访问训练数据。
• 在公共测试数据上的性能略有下降（BPC 1.334 vs. 初始值1.301），表明对罕见公共词汇存在一定程度的遗忘，但作为对私有数据适应的代价可接受。
• 在100台设备上进行的集成软标签聚合将集成BPC降低至1.321，表明集体知识迁移可提升模型质量，同时保护隐私。