[论文解读] A Hybrid Instance-based Transfer Learning Method

Azin Asgarian, Parinaz Sobhani+5 more|arXiv (Cornell University)|Dec 3, 2018

Domain Adaptation and Few-Shot Learning参考文献 12被引用 7

一句话总结

本文提出了一种混合实例基迁移学习方法，通过使用概率加权策略将多个源域的知识融合到目标模型中，从而在数据稀缺的医疗保健应用中提升模型泛化能力。该方法在面部表情识别和损伤预测任务中优于最先进基线模型，在F1分数和收敛速度方面取得显著提升，同时对负迁移保持鲁棒性。

ABSTRACT

In recent years, supervised machine learning models have demonstrated tremendous success in a variety of application domains. Despite the promising results, these successful models are data hungry and their performance relies heavily on the size of training data. However, in many healthcare applications it is difficult to collect sufficiently large training datasets. Transfer learning can help overcome this issue by transferring the knowledge from readily available datasets (source) to a new dataset (target). In this work, we propose a hybrid instance-based transfer learning method that outperforms a set of baselines including state-of-the-art instance-based transfer learning approaches. Our method uses a probabilistic weighting strategy to fuse information from the source domain to the model learned in the target domain. Our method is generic, applicable to multiple source domains, and robust with respect to negative transfer. We demonstrate the effectiveness of our approach through extensive experiments for two different applications.

研究动机与目标

• 解决医疗保健应用中标签训练数据有限的挑战，其中收集足够数据具有困难。
• 通过从 readily available 源域迁移知识，提升数据稀缺目标域中的模型泛化能力。
• 开发一种鲁棒且通用的迁移学习方法，适用于多个源域，并对负迁移具有抵抗力。
• 在非结构化数据（面部表情）和结构化数据（损伤预测）设置下，优于现有的实例基迁移学习方法。
• 在真实世界数据集上，于多种医疗保健应用中展示方法的有效性。

提出的方法

• 该方法采用混合加权策略，结合与目标域的相似性以及源样本在目标任务中的有效性。
• 应用重要性采样原理，将期望误差建模为目标域和源域损失的加权组合。
• 核心公式（公式2）最小化目标域和源域误差的加权和，其中源域权重由目标域与源域概率密度之比导出。
• 采用软加权而非硬性决策，使源样本的影响根据其相关性和效用程度渐进式变化。
• 该方法具有通用性，支持多个源域，超参数α控制源域与目标域贡献的整体平衡。
• 该方法使用XGBoost处理结构化数据，使用深度学习处理非结构化数据，性能通过F1分数、准确率和收敛率进行评估。

实验结果

研究问题

• RQ1 与现有基线相比，混合实例基迁移学习方法是否能提升数据稀缺医疗保健应用中的模型性能？
• RQ2 所提出的概率加权策略在面部表情识别中如何影响收敛性和拟合准确率？
• RQ3 在类别不平衡的真实世界数据集中，能否有效融合来自多个源域的知识以提升损伤预测性能？
• RQ4 当源域与目标域显著不同时，该方法对负迁移的鲁棒性如何？
• RQ5 超参数α控制的源域与目标域贡献之间的最优平衡是什么？

主要发现

• 在面部表情识别中，所提出的混合模型（A_HW）的拟合误差显著低于仅使用目标域的模型（A_T），尽管A_T收敛速度较快，但其拟合效果差。
• 混合模型优于实例加权基线模型（A_Jena），后者尽管收敛性改善，但其拟合准确率仍低于A_T。
• 在损伤预测中，混合模型（A_HW）的F1分数达到0.12，显著优于仅使用目标域的模型（A_T）的F1分数0.06，以及仅使用源域的模型（A_S）的F1分数0.07。
• 混合模型在保持高分类准确率（97%）的同时提升了F1分数，优于联合模型（A_S∪T）的F1分数0.08。
• 模型分析显示，A_HW利用了38个特征中的23个，包括10个A_T未使用的额外特征，表明在数据稀疏环境下具有更优的特征利用能力。
• 混合模型的最优超参数α被确定在0.7至0.9之间，当α过高或过低时性能均下降。