[论文解读] Probabilistic Knowledge Transfer for Deep Representation Learning.

Nikolaos Passalis, Anastasios Tefas|arXiv (Cornell University)|Mar 28, 2018

Domain Adaptation and Few-Shot Learning参考文献 37被引用 9

一句话总结

本文提出了一种概率知识迁移方法，可保留学生表示与未知标签之间的互信息，从而实现超越分类任务的有效迁移。通过将知识建模为表示上的概率分布，该方法支持多样化应用，包括从文本到视觉的跨模态迁移，在表示学习场景中优于现有技术。

ABSTRACT

Knowledge Transfer (KT) techniques tackle the problem of transferring the knowledge from a large and complex neural network into a smaller and faster one. However, existing KT methods are tailored towards classification tasks and they cannot be used efficiently for other representation learning tasks. In this paper a novel knowledge transfer technique, that is capable of training a student model that maintains the same amount of mutual information between the learned representation and a set of (possible unknown) labels as the teacher model, is proposed. Apart from outperforming existing KT techniques, the proposed method allows for overcoming several limitations of existing methods providing new insight into KT as well as novel KT applications, ranging from knowledge transfer from handcrafted feature extractors to {cross-modal} KT from the textual modality into the representation extracted from the visual modality of the data.

研究动机与目标

• 为解决现有知识迁移方法的局限性，这些方法主要针对分类任务设计，难以应用于一般表示学习任务。
• 开发一种知识迁移技术，使学生模型与潜在标签之间的互信息与教师模型保持一致。
• 实现从手工特征提取器到跨模态的迁移，例如从文本到视觉表示。
• 提供一个统一的知识迁移框架，适用于零样本学习、自监督学习和对比学习。
• 通过将知识迁移视为概率信息保持问题，克服现有方法的不足，提供新见解。

提出的方法

• 该方法将知识迁移建模为表示上的概率分布，确保学生模型保留其表示与任何潜在标签之间的互信息。
• 将知识蒸馏形式化为变分推断问题，通过优化教师与学生表示分布之间的KL散度来实现。
• 学生网络通过最大化互信息目标，学习匹配教师的预测不确定性和表示分布。
• 该方法模块化且兼容多种表示学习目标，包括对比学习和自监督预训练。
• 通过将输出建模为概率分布，实现从非神经网络的手工特征（如SIFT）到深度学生网络的迁移。
• 通过共享潜在空间对齐文本和视觉表示的概率分布，实现跨模态迁移。

实验结果

研究问题

• RQ1 知识迁移能否推广到分类任务之外的其他表示学习目标？
• RQ2 在知识蒸馏过程中，如何保持表示与标签之间的互信息？
• RQ3 能否从手工特征有效迁移知识到深度神经网络？
• RQ4 是否可能使用统一的概率框架实现从文本到视觉表示的跨模态知识迁移？
• RQ5 现有知识迁移方法在自监督和对比学习设置下的局限性是什么？

主要发现

• 所提方法在表示学习基准测试中优于现有知识迁移技术，包括自监督和对比学习设置。
• 成功实现了从SIFT等手工特征到深度学生网络的知识迁移，在下游任务中达到具有竞争力的性能。
• 该方法实现了有效的跨模态知识迁移，可将知识从文本编码器迁移至视觉表示模型。
• 通过保持互信息，学生模型即使在训练期间标签未知或不可用时，也能保持强大的泛化能力。
• 概率建模使该方法可灵活应用于各种架构和预训练目标。
• 实验结果表明，与标准蒸馏和其他最先进知识迁移基线相比，下游准确率和表示质量均有提升。