[论文解读] A Theory of Output-Side Unsupervised Domain Adaptation

Tomer Galanti, Lior Wolf|arXiv (Cornell University)|Mar 5, 2017

Domain Adaptation and Few-Shot Learning参考文献 6被引用 5

一句话总结

本文提出输出侧无监督域自适应（ODA），一种新型框架，其中使用未标记的目标输出而非输入进行自适应。通过差异最小化推导泛化界，为CoGAN和域迁移网络等方法提供理论基础，关键结果表明通过输出空间对齐和基于GAN的差异控制可实现更优的自适应效果。

ABSTRACT

When learning a mapping from an input space to an output space, the assumption that the sample distribution of the training data is the same as that of the test data is often violated. Unsupervised domain shift methods adapt the learned function in order to correct for this shift. Previous work has focused on utilizing unlabeled samples from the target distribution. We consider the complementary problem in which the unlabeled samples are given post mapping, i.e., we are given the outputs of the mapping of unknown samples from the shifted domain. Two other variants are also studied: the two sided version, in which unlabeled samples are give from both the input and the output spaces, and the Domain Transfer problem, which was recently formalized. In all cases, we derive generalization bounds that employ discrepancy terms.

研究动机与目标

• 填补无监督域自适应中的空白：当可获得未标记的目标数据时，其并非以输入空间形式存在，而是以目标函数的输出形式存在。
• 形式化一种新范式——输出侧域自适应（ODA），其中模型利用来自目标域的未标记输出进行自适应。
• 将分析扩展至包含来自两个域的未匹配输入与输出样本的双侧变体，以及涉及跨域生成的域迁移问题。
• 通过基于差异的泛化界，为近期方法如CoGAN和域迁移网络提供理论依据。
• 通过展示差异最小化如何在输出空间场景中实现有效自适应，建立GAN与域自适应之间的联系。

提出的方法

• 提出输出侧域自适应（ODA），学习者接收来自源域的标记数据和来自目标域的未标记输出，而非输入。
• 定义一个泛化风险界，其中包含源分布与目标域上复合映射之间差异的项。
• 利用因子三角不等式将目标风险分解为涉及模型幂等性、特征一致性与差异的分量。
• 引入差异项 $\textnormal{disc}_{\mathcal{H}}(D^{y}_{2}, h\circ D_{1})$，用于度量生成输出与真实目标输出之间的分布差异。
• 推导出将自适应模型性能与输出映射保真度及生成输出与真实目标输出相似性相联系的界。
• 表明当分类器类 $\mathcal{H}_2$ 为Lipschitz类时，界可简化，并与DTN算法中的损失分量（如 $L_{\text{TID}}$、$L_{\text{CONST}}$）一致。

实验结果

研究问题

• RQ1 当仅可获得目标域的未标记输出时，能否为无监督域自适应推导出泛化界？
• RQ2 在双侧域自适应设置中——即同时获得来自两个域的未匹配输入与输出样本——如何实现更优的自适应？
• RQ3 如何为使用GAN式目标生成跨域样本的域迁移网络（DTN）算法提供理论依据？
• RQ4 基于差异的界如何与基于GAN的输出空间自适应的成功相关联？
• RQ5 能否利用目标函数的幂等性，在输出侧自适应中推导出更紧致的泛化界？

主要发现

• 本文为输出侧域自适应（ODA）推导出一个泛化界，其中包含输出重建误差、特征一致性以及生成输出与真实目标输出之间差异的项。
• 该界表明，最小化生成输出与真实目标分布之间的差异 $\textnormal{disc}_{\mathcal{H}}(D^{y}_{2}, h\circ D_{1})$ 可提升泛化性能。
• 在双侧设置中，所推导的界通过表明输入与输出空间中联合分布对齐可降低风险，从而为CoGAN方法提供动机。
• 在域迁移问题中，该界合理化了DTN算法的损失分量：$L_{\text{TID}}$（身份保持）与 $L_{\text{CONST}}$（特征一致性），这些分量自然源自分析。
• 当 $\mathcal{H}_2$ 为通用Lipschitz类时，界简化为 $R_{D_1}[h,y] \lesssim R_{D^{y}_2}[h,\text{Id}] + R_{D_1}[f\circ h,f] + \textnormal{disc}_{\mathcal{H}}(D^{y}_2, h\circ D_1) + \lambda$，与DTN的训练目标一致。
• 理论分析证实，基于GAN的差异最小化在输出侧自适应中是有效的，为标准域自适应提供了一种有原则的替代方案。