[论文解读] Progressive Graph Learning for Open-Set Domain Adaptation

Yadan Luo, Zijian Wang+2 more|arXiv (Cornell University)|Jun 22, 2020

Domain Adaptation and Few-Shot Learning被引用 39

一句话总结

本文提出 Progressive Graph Learning (PGL)，一种端到端的开集无监督域自适应方法，利用情节式训练、图神经网络和对抗学习来处理未知目标类别并降低条件漂移，取得更紧的目标误差界。

ABSTRACT

Domain shift is a fundamental problem in visual recognition which typically arises when the source and target data follow different distributions. The existing domain adaptation approaches which tackle this problem work in the closed-set setting with the assumption that the source and the target data share exactly the same classes of objects. In this paper, we tackle a more realistic problem of open-set domain shift where the target data contains additional classes that are not present in the source data. More specifically, we introduce an end-to-end Progressive Graph Learning (PGL) framework where a graph neural network with episodic training is integrated to suppress underlying conditional shift and adversarial learning is adopted to close the gap between the source and target distributions. Compared to the existing open-set adaptation approaches, our approach guarantees to achieve a tighter upper bound of the target error. Extensive experiments on three standard open-set benchmarks evidence that our approach significantly outperforms the state-of-the-arts in open-set domain adaptation.

研究动机与目标

• 激励在目标数据包含源数据未见的未知类别的情况下进行开放集合域自适应。
• 在渐进学习框架下开发一个端到端的框架，最小化源风险、域差异和开放集合风险。
• 结合图神经网络和情节化训练来在样本和流形层面解决条件漂移。
• 提供理论界限洞见，证明渐进方法能带来更紧的目标误差界。

提出的方法

• 将假设空间分解为共享（已知）子空间和未知子空间，以减少对源数据的错误分类。
• 采用渐进学习，逐步将低置信度的目标样本转换为伪标记的已知类别和未知类别，以降低负迁移。
• 使用情节化训练和传导式设置，在情节中用伪标记的目标数据替换源数据来对齐条件分布。
• 在骨干特征之上构建图神经网络，连接同类源样本与伪标记目标样本，以学习类别特定的流形。
• 引入对抗域判别器，最小化已知类别的边际分布差距。
• 使用一个联合目标进行训练，平衡节点分类损失、边分类损失和对抗损失（并给出具体系数）。
• 在 M 步中逐步更新伪标签和情节，由扩大因子 alpha 和开放性参数 beta 控制。

实验结果

研究问题

• RQ1 如何对开放集合域自适应在理论上进行界定，以考虑未知目标类别？
• RQ2 一个渐进、基于图的框架是否比现有 OUDA 方法更有效地减少条件漂移和域差异？
• RQ3 情节化、传导式的基于GNN的学习是否能改善共享类别表征并缓解负迁移？
• RQ4 伪标签已知与未知样本对目标风险和整体性能的影响如何？

主要发现

• PGL 在 Office-Home、Syn2Real-O 和 VisDA-17 基准测试上持续优于最先进的开放集域自适应方法。
• 渐进伪标签化结合基于GNN的流形学习在多个数据集上显著提升 OS*（已知类别归一化准确率）。
• 消融研究表明去除渐进标签、GNN 或混合策略都会降低性能，证实了各组件的重要性。
• 该框架对开放性具有更高鲁棒性，且对损失系数和扩大因子 alpha 的敏感性属性更友好。
• 在各数据集上，与 OSBP、STA、ATI-λ、MMD、DANN 等基线相比，PGL 在 OS 和 OS* 指标上取得显著改进。