[论文解读] A Generalized Neyman-Pearson Criterion for Optimal Domain Adaptation

Clayton Scott|arXiv (Cornell University)|Oct 3, 2018

Domain Adaptation and Few-Shot Learning参考文献 55被引用 4

一句话总结

本文提出了一种广义的Neyman-Pearson准则——即受控发现率（Controlled Discovery Rate, CDR）——用于二分类任务中的最优域自适应。研究表明，在协变量偏移与后验漂移的联合模型下，即源域与目标域在特征分布和标签分布上存在差异时，仅使用源数据训练的分类器仍可最优地最小化CDR准则，从而在无需目标数据标签或对源域与目标域分布相似性施加严格假设的条件下，实现强大的域自适应性能。

ABSTRACT

In the problem of domain adaptation for binary classification, the learner is presented with labeled examples from a source domain, and must correctly classify unlabeled examples from a target domain, which may differ from the source. Previous work on this problem has assumed that the performance measure of interest is the expected value of some loss function. We introduce a new Neyman-Pearson-like criterion and argue that, for this optimality criterion, stronger domain adaptation results are possible than what has previously been established. In particular, we study a class of domain adaptation problems that generalizes both the covariate shift assumption and a model for feature-dependent label noise, and establish optimal classification on the target domain despite not having access to labelled data from this domain.

研究动机与目标

• 为解决先前域自适应方法依赖于期望损失性能度量所带来的局限性，这些方法通常需要对源域与目标域之间的相似性施加强假设。
• 提出一种新的最优性准则——受控发现率（CDR）——以在更广泛的分布偏移条件下提供更强的域自适应保证。
• 证明在协变量偏移与特征相关标签噪声（后验漂移）的联合模型下，即使无法获取目标数据标签，仍可实现最优分类。
• 展示CDR准则对分布偏移具有免疫性，使得仅使用源数据训练即可获得最优的目标域性能。

提出的方法

• 提出广义Neyman-Pearson（GNP）准则，其中参数θ₁=1且θ₀=π_Q，使CDR准则成为其特例。
• 将发现率D_Q(g) = Q_X(g(X)=1)定义为约束条件，表示在目标分布上正预测结果所占比例。
• 采用似然比检验（LRT）作为CDR准则下的最优分类器，其阈值基于后验概率η_Q(x)设定。
• 证明CDR下的最优分类器对后验漂移和协变量偏移具有不变性，从而对这些分布偏移具有免疫性。
• 提出两种用于半监督设置下CDR优化的算法，包括一种基于核逻辑回归的分层集方法。
• 证明CDR准则对协变量偏移与后验漂移的联合类具有免疫性，即仅使用源数据训练即可实现最优目标域性能。

实验结果

研究问题

• RQ1 是否存在除期望损失之外的性能准则，可在现实分布偏移条件下提供更强的域自适应保证？
• RQ2 在协变量偏移与后验漂移的联合模型下，是否可能在无目标数据标签的情况下实现最优域自适应？
• RQ3 受控发现率（CDR）准则是否对分布偏移保持不变，从而使得仅使用源数据训练即可获得最优目标域性能？
• RQ4 CDR准则与传统的0-1损失最小化相比，在应对特征相关标签噪声方面具有怎样的鲁棒性？
• RQ5 CDR准则在半监督域自适应中进行优化的理论与算法基础是什么？

主要发现

• CDR准则对协变量偏移与后验漂移均具有免疫性，意味着仅通过源数据训练即可实现目标域的最优分类。
• CDR下的最优分类器为似然比检验，其阈值基于后验概率η_Q(x)，确保在广义Neyman-Pearson框架下的最优性。
• 本文首次建立了在协变量偏移与后验漂移联合模型下域自适应的最优性结果，且无需强假设源域与目标域分布相似。
• CDR准则可在无需文献中先前提出的过度严格假设的条件下，实现对特征相关标签噪声（FDLN）的最优性能。
• 提出了两种用于CDR优化的算法，包括对基于核逻辑回归的分层集方法的创新性分析，证明了其实际可行性。
• 本研究通过在统一且更符合现实的分布模型下提供更广泛的理论保证，推广了先前关于协变量偏移与FDLN的工作。