[论文解读] Class-conditioned Domain Generalization via Wasserstein Distributional Robust Optimization

Jingge Wang, Yang Li+2 more|arXiv (Cornell University)|Sep 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 10被引用 4

一句话总结

该论文提出了一种基于Wasserstein分布鲁棒优化的类别条件域自适应方法，以提升在类别条件域偏移下的模型鲁棒性。通过使用Wasserstein中位数构建不确定集并迭代学习最优半径，该方法在未见目标域上的泛化性能优于现有域自适应方法和基线模型，尤其在类别间条件分布差异较大的场景下表现更优。

ABSTRACT

Given multiple source domains, domain generalization aims at learning a universal model that performs well on any unseen but related target domain. In this work, we focus on the domain generalization scenario where domain shifts occur among class-conditional distributions of different domains. Existing approaches are not sufficiently robust when the variation of conditional distributions given the same class is large. In this work, we extend the concept of distributional robust optimization to solve the class-conditional domain generalization problem. Our approach optimizes the worst-case performance of a classifier over class-conditional distributions within a Wasserstein ball centered around the barycenter of the source conditional distributions. We also propose an iterative algorithm for learning the optimal radius of the Wasserstein balls automatically. Experiments show that the proposed framework has better performance on unseen target domain than approaches without domain generalization.

研究动机与目标

• 解决目标域与源域在相同类别上分布显著不同的类别条件分布偏移挑战。
• 克服现有域自适应方法的局限性，后者假设目标域的类别条件分布与同类别源域分布相近。
• 构建一个鲁棒优化框架，确保在以类别特定中位数为中心的Wasserstein球定义的不确定集内实现最坏情况下的性能保障。
• 自动学习Wasserstein不确定集的最优半径，以提升泛化性能，避免人工超参数调优。
• 在合成数据和真实世界数据上均展示优越性能，尤其在低资源、无监督域自适应设置下表现突出。

提出的方法

• 以源类别条件分布的Wasserstein中位数为中心，定义类别特定的不确定集，使用Wasserstein球表示。
• 将鲁棒优化问题表述为在每个类别不确定集内所有分布上最小化最坏情况风险。
• 采用迭代算法联合优化分类器和Wasserstein球的半径，以自适应学习最优不确定集大小。
• 利用Wasserstein度量导出的线性约束，将分布鲁棒优化问题转化为凸优化问题。
• 在存在多个源域时，利用中位数作为参考分布，以稳定不确定集的构建。
• 将该框架应用于合成高斯数据和真实世界电池容量分类任务，且仅使用有限标注数据。

实验结果

研究问题

• RQ1 使用Wasserstein不确定集的分布鲁棒优化是否能提升在类别条件域偏移下的泛化性能？
• RQ2 在不确定集构建中，使用Wasserstein中位数作为参考分布与使用单个源分布相比有何差异？
• RQ3 与固定的手动调参半径相比，自动学习不确定集半径是否能提升性能？
• RQ4 在训练期间无目标数据可用的无监督域自适应场景下，该方法表现如何？
• RQ5 在类别条件分布跨域变化较大的场景下，该方法是否优于标准域自适应方法和基线方法？

主要发现

• 在最具挑战性的电池数据集设置（难度等级6）中，该方法实现了平均测试准确率0.806，显著优于次佳的无监督方法（0.530）。
• 在最简单设置（难度等级1）中，该方法准确率达到0.806，当仅使用源数据时，超过半监督基线方法（0.680）。
• 在无半径学习版本（固定初始半径）中，最简单设置下的准确率仅为0.740，证明了自适应半径学习的必要性。
• 在合成高斯数据上，该方法在不同难度等级下保持一致的性能表现，准确率从等级1的0.806下降至等级6的0.530，显示出在域偏移加剧情况下的鲁棒性。
• 该方法优于所有无监督基线方法，包括混合所有源数据的方法，甚至在高难度设置下超越部分半监督方法。
• 迭代半径学习算法成功适应数据复杂度，随着难度增加，类别1的半径从~3.44降至2.65，类别2的半径从~4.02降至2.37。