[论文解读] Learning to Combine: Knowledge Aggregation for Multi-Source Domain Adaptation

Hang Wang, Minghao Xu+2 more|arXiv (Cornell University)|Jul 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 51被引用 9

一句话总结

该论文提出LtC-MSDA，一种新颖的多源域自适应框架，通过在类别原型上构建知识图谱来学习融合多个源域的知识。通过整合图卷积网络与关系对齐损失（RAL），以确保类别关系的一致性和特征紧凑性，该方法在基准数据集上实现了最先进性能，显著优于现有方法。

ABSTRACT

Transferring knowledges learned from multiple source domains to target domain is a more practical and challenging task than conventional single-source domain adaptation. Furthermore, the increase of modalities brings more difficulty in aligning feature distributions among multiple domains. To mitigate these problems, we propose a Learning to Combine for Multi-Source Domain Adaptation (LtC-MSDA) framework via exploring interactions among domains. In the nutshell, a knowledge graph is constructed on the prototypes of various domains to realize the information propagation among semantically adjacent representations. On such basis, a graph model is learned to predict query samples under the guidance of correlated prototypes. In addition, we design a Relation Alignment Loss (RAL) to facilitate the consistency of categories' relational interdependency and the compactness of features, which boosts features' intra-class invariance and inter-class separability. Comprehensive results on public benchmark datasets demonstrate that our approach outperforms existing methods with a remarkable margin. Our code is available at \url{https://github.com/ChrisAllenMing/LtC-MSDA}

研究动机与目标

• 为解决从多个源域向未标注目标域迁移知识的挑战，其中领域偏移和模态差异使特征对齐变得复杂。
• 通过建模多个领域间特征表示的交互关系，而非依赖固定或手工设计的源预测组合，来提升模型泛化能力。
• 在不同领域之间强制执行类别间的关联一致性，确保语义关系（例如，卡车与汽车的相似性高于与人的相似性）在潜在空间中得以保留。
• 通过联合优化原型紧凑性与类间可分性，提升特征判别性与域不变性。

提出的方法

• 该框架利用所有领域中的全局原型构建知识图谱，其中节点间的连接基于原型相似度。
• 应用图卷积网络（GCNs）在知识图谱上传播表示，以预测查询样本，从而实现在语义相关领域间的信息流动。
• 引入一种关系对齐损失（RAL），其由全局项和局部项组成：全局项用于在不同领域间强制保持一致的类别关系结构，局部项用于促进原型周围的特征紧凑性。
• 通过移动平均方案维护全局原型，以减少小批量采样带来的估计方差。
• 使用源域和目标域的分类损失以及RAL损失的组合，端到端训练模型。
• 推理阶段仅使用知识图谱和GCN，实现无需微调的高效预测。

实验结果

研究问题

• RQ1 与简单集成或平均源模型相比，通过知识图谱进行知识聚合是否能提升多源域自适应中的性能？
• RQ2 如何在多个源域和目标域之间建模并强制执行类别间的关联依赖关系，以改善特征对齐？
• RQ3 联合优化原型紧凑性与类间可分性是否能在领域偏移下带来更好的泛化性能？
• RQ4 所提出方法对超参数（如邻接矩阵的标准差和损失函数中的权衡系数）的敏感性如何？

主要发现

• LtC-MSDA 在 Digits-Five 基准上实现了最先进性能，所有域自适应设置下的平均准确率达到 91.83%。
• 消融研究显示，结合源分类损失、目标熵损失和原型分类损失，相比仅使用源监督的基线，准确率提升了 3.03%。
• 关系对齐损失（RAL）显著提升了性能，当同时应用全局和局部约束时达到最佳结果。
• 敏感性分析表明，当 λ₁ ≈ 20 且 λ₂ ≈ 0.001 时，模型对超参数选择具有鲁棒性，但当这些值趋近于零时性能下降。
• 可视化结果证实，RAL 使不同领域间的类别关系更加一致，并在潜在空间中实现更对齐、更具判别性的特征分布。
• 模型学习到的邻接矩阵反映了类别间有意义的语义关系，语义相关类别（如汽车与卡车）之间的相似度得分更高。