[论文解读] Minimax optimal approaches to the label shift problem

Subha Maity, Yuekai Sun+1 more|arXiv (Cornell University)|Mar 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 21被引用 5

一句话总结

本文在两种设定下建立了标签偏移问题的极小极大最优收敛速率：一种是仅有未标记目标数据，另一种是仅有少量标记目标样本。研究表明，标记目标数据的可用性显著降低了问题难度，通过实现更优的类别条件分布估计；并证明在仅含未标记数据的设定下，分布对齐方法达到极小极大最优速率。

ABSTRACT

We study minimax rates of convergence in the label shift problem. In addition to the usual setting in which the learner only has access to unlabeled examples from the target domain, we also consider the setting in which a small number of labeled examples from the target domain are available to the learner. Our study reveals a difference in the difficulty of the label shift problem in the two settings. We attribute this difference to the availability of data from the target domain to estimate the class conditional distributions in the latter setting. We also show that a distributional matching approach is minimax rate-optimal in the former setting.

研究动机与目标

• 分析在两种不同数据可用性设定下，标签偏移问题的极小极大收敛速率。
• 研究目标域中少量标记样本的可用性如何影响标签偏移问题的难度。
• 确定在仅含未标记目标数据的设定下，分布对齐是否达到极小极大最优速率。
• 比较在有和无标记目标样本的设定下，标签偏移问题的统计复杂度。

提出的方法

• 本文推导了在两种设定下标签偏移问题的极小极大下界：一种是仅有未标记目标数据，另一种是仅有少量标记目标样本。
• 分析了在每种设定下估计类别条件分布的统计难度，表明标记数据可实现更精确的估计。
• 评估了分布对齐方法在仅含未标记数据的设定下，对齐源域与目标域分布的性能。
• 证明了在仅含未标记数据的设定下，分布对齐方法达到极小极大最优速率，因此具有统计效率。
• 分析基于非渐近极小极大理论，刻画了在标签偏移下学习的根本极限。

实验结果

研究问题

• RQ1 当仅有未标记目标数据时，标签偏移问题的极小极大收敛速率是什么？
• RQ2 在目标域中引入少量标记样本如何影响标签偏移问题的统计难度？
• RQ3 在仅含未标记目标数据的设定下，分布对齐是否为极小极大速率最优方法？
• RQ4 两种设定之间的学习复杂度的根本差异是什么？

主要发现

• 当目标域中存在少量标记样本时，标签偏移问题显著变简单，原因在于类别条件分布的估计得到改善。
• 标记目标数据的可用性降低了极小极大收敛速率，表明该设定下的统计复杂度更低。
• 在仅含未标记目标数据的设定下，分布对齐方法达到极小极大最优速率，因此是一种统计高效的策略。
• 极小极大下界揭示了两种设定之间存在根本性的难度差异，其根源在于能否从标记数据中估计类别条件分布。