[论文解读] DT-LET: Deep Transfer Learning by Exploring where to Transfer

Jianzhe Lin, Qi Wang+2 more|arXiv (Cornell University)|Sep 23, 2018

Domain Adaptation and Few-Shot Learning参考文献 24被引用 6

一句话总结

DT-LET 提出了一种新颖的深度迁移学习框架，通过学习源域与目标域网络之间的最优跨层对应关系，解决了‘何处迁移’的问题，即使在两者具有不同架构的情况下也能实现。通过引入统一的目标函数，联合优化层匹配与特征对齐，DT-LET 在跨分辨率图像分类和手写数字识别任务中表现出色，相较于标准迁移学习方法，在某些设置下准确率最高提升5%。

ABSTRACT

Previous transfer learning methods based on deep network assume the knowledge should be transferred between the same hidden layers of the source domain and the target domains. This assumption doesn't always hold true, especially when the data from the two domains are heterogeneous with different resolutions. In such case, the most suitable numbers of layers for the source domain data and the target domain data would differ. As a result, the high level knowledge from the source domain would be transferred to the wrong layer of target domain. Based on this observation, "where to transfer" proposed in this paper should be a novel research frontier. We propose a new mathematic model named DT-LET to solve this heterogeneous transfer learning problem. In order to select the best matching of layers to transfer knowledge, we define specific loss function to estimate the corresponding relationship between high-level features of data in the source domain and the target domain. To verify this proposed cross-layer model, experiments for two cross-domain recognition/classification tasks are conducted, and the achieved superior results demonstrate the necessity of layer correspondence searching.

研究动机与目标

• 为解决现有迁移学习方法假设源域与目标域网络具有相同层结构的局限性，这种假设常导致负迁移。
• 探究学习源域与目标域网络之间最优层对应关系是否能提升迁移性能，特别是在数据分辨率不同的异构领域中。
• 开发一种统一的目标函数，联合学习最佳层匹配与特征对齐，以实现跨域迁移。
• 证明最优迁移并不总是全秩或逐层匹配，而是取决于特征之间的语义对应关系。

提出的方法

• 该框架使用堆叠自编码器独立地在源域和目标域中学习层次化特征。
• 定义了一种新颖的目标函数，用于估计源域与目标域高层特征之间的对应关系，最小化分布差异。
• 应用典型相关分析（CCA）基于学习到的特征，找到两组网络之间层的最优匹配。
• 使用最佳匹配的层将数据投影到一个公共子空间，在该子空间中使用源数据训练分类器（例如SVM），并在目标数据上进行测试。
• 通过端到端训练过程，利用统一损失函数，联合优化网络架构与层对应关系。
• 该框架允许网络深度不同，并支持跨层迁移，避免了固定层对齐的假设。

实验结果

研究问题

• RQ1 在异构领域中，学习源网络与目标网络之间的最优层对应关系是否能提升迁移学习性能？
• RQ2 将知识从源网络迁移到目标网络中非相同层是否能带来优于标准逐层迁移的性能？
• RQ3 层匹配策略的选择（例如连续 vs. 离散）如何影响分类准确率？
• RQ4 全秩迁移是否总是最优？还是说通过避免负迁移，降秩迁移可能表现更优？
• RQ5 如最终层神经元数量等超参数如何影响最终分类性能？

主要发现

• 在 NUS-WIDE 数据集上，DT-LET 平均准确率达到 85.1%，优于基线方法最高 80% 的准确率。
• 全秩迁移设置 $ r_{5,4}^{2} $ 获得了最高整体准确率（85.1%），尽管其目标函数损失并非最低，表明仅最小化损失并不能保证最优性能。
• 非全秩迁移设置表明，负迁移会降低性能，说明在选择正确层时，降秩可带来益处。
• 连续迁移策略（例如在最后两层进行迁移）优于离散迁移（例如在第3层和第5层进行迁移），表明特征迁移的空间连续性可提升结果。
• 最终层神经元数量显著影响性能，在 Multi Feature Dataset 上，30 个神经元时达到最佳准确率，表明对这一超参数高度敏感。
• 目标函数损失与分类准确率之间的相关性并非严格正相关，表明分类器选择和数据投影等因素也显著影响最终性能。