[论文解读] OVANet: One-vs-All Network for Universal Domain Adaptation

Kuniaki Saito, Kate Saenko|arXiv (Cornell University)|Apr 7, 2021

Domain Adaptation and Few-Shot Learning参考文献 36被引用 14

一句话总结

OVANet 提出了一种简单而有效的单对多网络，用于通用域自适应（UNDA），通过利用源域数据中的类间距离，动态学习未知类别的拒绝阈值，从而消除对手动超参数调优的依赖。通过在目标数据上训练 OVA 分类器并最小化开放集熵，该方法在多个基准测试中实现了最先进性能，且对不同标签分布具有强鲁棒性。

ABSTRACT

Universal Domain Adaptation (UNDA) aims to handle both domain-shift and category-shift between two datasets, where the main challenge is to transfer knowledge while rejecting unknown classes which are absent in the labeled source data but present in the unlabeled target data. Existing methods manually set a threshold to reject unknown samples based on validation or a pre-defined ratio of unknown samples, but this strategy is not practical. In this paper, we propose a method to learn the threshold using source samples and to adapt it to the target domain. Our idea is that a minimum inter-class distance in the source domain should be a good threshold to decide between known or unknown in the target. To learn the inter-and intra-class distance, we propose to train a one-vs-all classifier for each class using labeled source data. Then, we adapt the open-set classifier to the target domain by minimizing class entropy. The resulting framework is the simplest of all baselines of UNDA and is insensitive to the value of a hyper-parameter yet outperforms baselines with a large margin.

研究动机与目标

• 为解决通用域自适应（UNDA）中未知类别拒绝的挑战，其中未知样本无任何监督信号。
• 消除基于验证集或先验比例的手动阈值调优，这在实际场景中不切实际。
• 开发一种方法，从源数据中学习类间最小距离，作为区分已知与未知类别的合理阈值。
• 构建一个可扩展、鲁棒且简洁的框架，适用于开放集与通用域自适应，且仅需一个关键超参数。

提出的方法

• 为每个源域类别训练一个单对多（OVA）分类器，每个分类器学习通过类间距离将一类与其他所有类别区分开来。
• 将所有 OVA 分类器中的最小类间距离用作学习到的阈值，以判断目标样本是否属于任何已知类别，或应被分类为未知。
• 实施难负样本分类器采样，通过每个源样本的正类别与一个难负样本，高效更新 OVA 分类器，提升泛化能力。
• 应用开放集熵最小化（OEM）对齐未标注的目标样本，通过最小化 OVA 分类器输出的熵，促使对已知或未知类别做出置信预测。
• 通过单一权衡超参数，端到端优化模型，平衡源分类损失与 OEM 损失。
• 利用学习到的 OVA 阈值，实现无需标注目标数据或合成未知样本的自动、数据驱动的未知样本拒绝。

实验结果

研究问题

• RQ1 源域中的最小类间距离能否作为可靠且可学习的阈值，用于在目标域中区分已知与未知类别？
• RQ2 模型如何在不依赖手动阈值调优或标注目标数据的情况下，学习拒绝未知样本？
• RQ3 结合类间距离学习的单对多分类框架能否提升通用域自适应中对不同标签分布的鲁棒性？
• RQ4 当与学习到的 OVA 阈值结合时，开放集熵最小化是否能有效对齐目标样本至已知或未知类别？
• RQ5 与依赖启发式或基于验证的阈值设定的现有 UNDA 方法相比，所提方法在性能与稳定性方面表现如何？

主要发现

• 在 OfficeHome 基准的开放部分域自适应设置下，OVANet 的 H-score 达到 71.8%，显著优于次优方法的 68.8%。
• 在 Office 数据集的开放集域自适应设置下，OVANet 的 H-score 达到 76.1%，显著优于基线 Softmax 方法（65.5%）和基于熵的方法（66.8%）。
• 在开放集识别基准上，OVANet 的 AUROC 达到 80.5%，表明已知与未知样本之间具有良好的分离能力。
• OVANet 对共享类别与未知类别比例变化表现出高度鲁棒性，在多种领域偏移与类别偏移场景下均保持优异性能。
• 模型对超参数选择不敏感，仅需一个关键超参数控制源分类损失与开放集熵最小化损失之间的权衡。
• 消融实验证实，OVA 分类器输出的不确定性校准优于 Softmax 或基于熵的输出，AUROC 分数始终高于基线方法。