[论文解读] Learning Weighted Representations for Generalization Across Designs

Fredrik Johansson, Nathan Kallus+2 more|arXiv (Cornell University)|Feb 23, 2018

Domain Adaptation and Few-Shot Learning参考文献 24被引用 38

一句话总结

本文提出了一种联合表示学习与样本重加权框架，通过最小化重加权泛化界，在因果推断和域适应中常见的设计偏移（design shift）下提升泛化性能。该方法学习与任务相关的表示和自适应权重，在IHDP数据集上实现SOTA性能，CATE误差比之前方法降低65%。

ABSTRACT

Predictive models that generalize well under distributional shift are often desirable and sometimes crucial to building robust and reliable machine learning applications. We focus on distributional shift that arises in causal inference from observational data and in unsupervised domain adaptation. We pose both of these problems as prediction under a shift in design. Popular methods for overcoming distributional shift make unrealistic assumptions such as having a well-specified model or knowing the policy that gave rise to the observed data. Other methods are hindered by their need for a pre-specified metric for comparing observations, or by poor asymptotic properties. We devise a bound on the generalization error under design shift, incorporating both representation learning and sample re-weighting. Based on the bound, we propose an algorithmic framework that does not require any of the above assumptions and which is asymptotically consistent. We empirically study the new framework using two synthetic datasets, and demonstrate its effectiveness compared to previous methods.

研究动机与目标

• 解决由于处理策略和特征域变化引起的因果推断与无监督域适应中的分布偏移问题。
• 克服现有方法依赖不切实际假设、固定度量或不稳定的重要性采样等局限性。
• 开发一种渐近一致的框架，联合学习表示与样本权重，无需预设度量或已知策略。
• 通过最小化平衡经验风险与分布偏移的重加权边界，降低设计偏移下的泛化误差。
• 通过在表示空间上使用保留验证集，实现方差控制与超参数调优。

提出的方法

• 在设计偏移下构建一个结合表示学习与样本重加权的泛化误差界。
• 提出一种算法，联合优化表示函数 $\Phi(x)$ 与权重函数 $w(\Phi)$，以最小化重加权经验风险与重加权分布偏移。
• 使用积分概率度量（IPM）衡量表示空间中源设计与目标设计之间的分布偏移。
• 对权重函数 $w$ 施加正则化，以控制方差并提升有限样本性能。
• 通过保留的源样本进行早停与超参数选择，以提升泛化性能。
• 通过基于预测表示而非原始输入特征学习权重，实现非均匀重加权。

实验结果

研究问题

• RQ1 是否能够通过统一框架联合优化表示学习与样本重加权，以提升设计偏移下的泛化性能？
• RQ2 在高维设置下，基于表示空间学习权重与使用原始输入度量相比有何差异？
• RQ3 自适应加权与表示学习对降低因果推断中反事实预测误差有何影响？
• RQ4 该框架是否能在无需已知处理策略或精确模型的情况下实现渐近一致性？
• RQ5 超参数选择（如不平衡惩罚 $\alpha$）对性能与稳定性有何影响？

主要发现

• 所提方法在IHDP数据集上实现CATE误差为 $0.65 \pm 0.04$，显著优于先前SOTA方法如CFRW ($0.76 \pm 0.02$) 与IPM-WNN ($1.2 \pm 0.12$)。
• 非均匀重加权（小 $\lambda_w$）带来显著性能提升，尤其在大不平衡惩罚 $\alpha \in [10, 1000]$ 时，相比均匀加权误差降低高达30%。
• 通过超参数调优自适应选择 $\alpha$ 保持高性能，$\text{RMSE}(\hat{\tau}) = 0.67 \pm 0.05$，接近最优 $\alpha$ 设置下的表现。
• 对于中等到大的 $\alpha$，IPM惩罚项改善性能，表明基于表示的平衡可增强泛化能力。
• 该框架将目标预测误差降低至 $0.38 \pm 0.01$，显著低于OLS的 $1.1 \pm 0.05$，证明其更强的鲁棒性。
• 实证结果表明，基于学习表示的重加权比基于输入空间度量更有效，尤其在高维设置下。