[论文解读] Dirichlet-based Uncertainty Calibration for Active Domain Adaptation

Mixue Xie, Shuang Li+2 more|arXiv (Cornell University)|Feb 27, 2023

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

本论文提出 DU C，是一个基于 Dirichlet 的 evidential 模型，用于主动域自适应，以在分布转变下校准预测不确定性并指导两轮目标样本标注选择策略。它在跨域图像分类和语义分割基准上展示了改进的性能。

ABSTRACT

Active domain adaptation (DA) aims to maximally boost the model adaptation on a new target domain by actively selecting limited target data to annotate, whereas traditional active learning methods may be less effective since they do not consider the domain shift issue. Despite active DA methods address this by further proposing targetness to measure the representativeness of target domain characteristics, their predictive uncertainty is usually based on the prediction of deterministic models, which can easily be miscalibrated on data with distribution shift. Considering this, we propose a extit{Dirichlet-based Uncertainty Calibration} (DUC) approach for active DA, which simultaneously achieves the mitigation of miscalibration and the selection of informative target samples. Specifically, we place a Dirichlet prior on the prediction and interpret the prediction as a distribution on the probability simplex, rather than a point estimate like deterministic models. This manner enables us to consider all possible predictions, mitigating the miscalibration of unilateral prediction. Then a two-round selection strategy based on different uncertainty origins is designed to select target samples that are both representative of target domain and conducive to discriminability. Extensive experiments on cross-domain image classification and semantic segmentation validate the superiority of DUC.

研究动机与目标

• 在主动域自适应（DA）中，动机在于域移位下预测不确定性的不稳定性。
• 开发一个基于 Dirichlet 的 evidential 框架来校准不确定性，并将预测解释为概率简单形上的分布。
• 设计一个两轮、以不确定性来源为导向的目标样本选择，以平衡目标的代表性和判别性。
• 用促进带标签数据正确证据的损失项以及在未标记目标数据上降低不确定性的损失项来训练模型。
• 展示 DUC 在跨域图像分类和语义分割任务上的有效性。

提出的方法

• 在类别概率上放置 Dirichlet 先验，使预测成为概率简单形上的分布（Dirichlet-based evidential learning）。
• 从 Dirichlet 参数定义分布不确定性 U_dis 和数据不确定性 U_data，以将证据不足与数据的可判别性区分开。
• 使用两轮样本选择：先选择 U_dis 最高的 κb 个目标，然后从第一轮候选中挑选 U_data 最高的 b 个样本。
• 用 L_total = L_edl + L_un 进行训练，其中 L_nll 与 L_KL 监督带标签数据和目标性，L_un 在未标记目标上最小化 U_dis 和 U_data（β、λ 平衡）。
• 推断使用期望值（Dirichlet 期望）作为最终预测。

实验结果

研究问题

• RQ1 如何在域移位下校准不确定性以改进主动域自适应？
• RQ2 基于 Dirichlet 的 evidential 表示是否能改进主动 DA 中信息丰富目标样本的选择？
• RQ3 两轮选择策略是否在不使用域判别器或聚类的情况下，利用不同的不确定性来源来提高目标的代表性与判别性？
• RQ4 基于 Dirichlet 的不确定性校准方法是否能在跨域图像分类和语义分割任务中提升性能？

主要发现

• DUC 在 miniDomainNet 上以 5% 的目标标注预算实现了对比基线的最佳平均准确率。
• DUC 还在 Office-Home 和 VisDA-2017 基准上以 5% 的标注预算显示出强劲结果，超越了许多基于不确定性和目标性的方法。
• 在 GTAV 到 Cityscapes 的语义分割任务中，DUC 在多个类别上相较于若干基线展现了有竞争力的 mIoU 增益。
• 总体而言，DUC 通过将预测视为 Dirichlet 分布来改进域移位下的预测不确定性估计，有助于更有信息量的样本选择和更好的适应。