[论文解读] Few-shot Domain Adaptation by Causal Mechanism Transfer

Takeshi Teshima, Issei Sato+1 more|arXiv (Cornell University)|Feb 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 58被引用 22

一句话总结

本文提出了一种基于因果机制迁移的少样本域自适应方法，用于回归任务，其中从源数据中估计一个共享的非线性可逆混合函数（来自非线性ICA），并用于增强有限的目标数据。该方法通过广义U统计量和过失风险界提供理论保证，在源域与目标域分布显著不同的情况下，实现了最先进的性能表现，实现了有效的知识迁移。

ABSTRACT

We study few-shot supervised domain adaptation (DA) for regression problems, where only a few labeled target domain data and many labeled source domain data are available. Many of the current DA methods base their transfer assumptions on either parametrized distribution shift or apparent distribution similarities, e.g., identical conditionals or small distributional discrepancies. However, these assumptions may preclude the possibility of adaptation from intricately shifted and apparently very different distributions. To overcome this problem, we propose mechanism transfer, a meta-distributional scenario in which a data generating mechanism is invariant among domains. This transfer assumption can accommodate nonparametric shifts resulting in apparently different distributions while providing a solid statistical basis for DA. We take the structural equations in causal modeling as an example and propose a novel DA method, which is shown to be useful both theoretically and experimentally. Our method can be seen as the first attempt to fully leverage the structural causal models for DA.

研究动机与目标

• 为了解决现有域自适应方法依赖于明显的分布相似性或参数假设的局限性。
• 开发一种适用于非参数、复杂分布偏移场景的回归任务少样本域自适应框架。
• 基于跨域不变的数据生成机制，形式化一种元分布迁移假设。
• 提供一个理论基础坚实的域自适应方法，利用结构因果模型实现知识迁移。
• 在仅含极少标注目标样本的真实世界计量经济数据中，验证机制迁移的有效性。

提出的方法

• 该方法使用非线性独立分量分析（nonlinear ICA）从源域数据中估计非线性可逆混合函数 f。
• 假设数据生成机制 f 在源域与目标域之间保持不变，从而实现知识的迁移。
• 通过将估计的 f 的逆函数应用于目标域数据，生成合成样本，以利用底层独立分量之间的独立性，实现目标数据的增强。
• 随后使用增强后的目标数据训练最终的预测器，从而在低数据量场景下提升样本效率。
• 通过广义U统计量提供理论依据，表明在理想条件下，该方法可产生一致最小方差无偏估计量。
• 推导出过失风险界，以覆盖现实中的有限样本场景，确保泛化性能。

实验结果

研究问题

• RQ1 当源域与目标域的分布看起来截然不同时，共享的数据生成机制是否仍能实现有效的少样本域自适应？
• RQ2 通过非线性ICA估计非线性混合函数 f，是否能实现对仅有少量标注样本的目标域的有效知识迁移？
• RQ3 所提出的方法是否能在泛化性能上超越依赖于分布相似性或参数假设的现有域自适应方法？
• RQ4 基于机制迁移的数据增强过程可提供哪些理论保证？
• RQ5 在仅含少量目标数据的真实世界回归任务中，该方法的实证表现如何？

主要发现

• 所提出的方法在真实世界计量经济数据集上实现了最先进的性能，在少样本设置下优于现有的域自适应基线方法。
• 理论分析表明，在理想条件下，该数据增强过程可产生一致最小方差无偏估计量，确保统计效率。
• 推导出过失风险界，为在无参数假设下有限样本场景中的泛化性能提供了理论保障。
• 该方法成功实现了在非参数、复杂分布偏移场景下的跨域知识迁移，即使分布从视觉或统计角度看差异显著。
• 该方法是首个完全利用结构因果模型实现域自适应的方法，展示了机制不变性在迁移学习中的实用性。
• 实证结果证实，机制迁移能够实现有效的数据增强，显著提升小目标数据集上的预测准确率。