[论文解读] C-Mixup: Improving Generalization in Regression

Huaxiu Yao, Yiping Wang+3 more|arXiv (Cornell University)|Oct 11, 2022

Domain Adaptation and Few-Shot Learning被引用 13

一句话总结

C-Mixup 是一种用于回归任务的新颖数据增强方法，通过基于标签相似性而非均匀分布或基于特征的采样来选择训练样本对，从而提升泛化能力。通过在标签距离上使用高斯核，它减少了噪声插值，实现了在11个数据集上的分布内泛化、任务泛化和分布外鲁棒性的最先进性能，相较于之前的方法最高提升达6.56%。

ABSTRACT

Improving the generalization of deep networks is an important open challenge, particularly in domains without plentiful data. The mixup algorithm improves generalization by linearly interpolating a pair of examples and their corresponding labels. These interpolated examples augment the original training set. Mixup has shown promising results in various classification tasks, but systematic analysis of mixup in regression remains underexplored. Using mixup directly on regression labels can result in arbitrarily incorrect labels. In this paper, we propose a simple yet powerful algorithm, C-Mixup, to improve generalization on regression tasks. In contrast with vanilla mixup, which picks training examples for mixing with uniform probability, C-Mixup adjusts the sampling probability based on the similarity of the labels. Our theoretical analysis confirms that C-Mixup with label similarity obtains a smaller mean square error in supervised regression and meta-regression than vanilla mixup and using feature similarity. Another benefit of C-Mixup is that it can improve out-of-distribution robustness, where the test distribution is different from the training distribution. By selectively interpolating examples with similar labels, it mitigates the effects of domain-associated information and yields domain-invariant representations. We evaluate C-Mixup on eleven datasets, ranging from tabular to video data. Compared to the best prior approach, C-Mixup achieves 6.56%, 4.76%, 5.82% improvements in in-distribution generalization, task generalization, and out-of-distribution robustness, respectively. Code is released at https://github.com/huaxiuyao/C-Mixup.

研究动机与目标

• 解决原始 mixup 在回归任务中因从不相似样本间任意插值标签而导致泛化性能差的问题。
• 提升分布内泛化能力、元学习中的任务泛化能力，以及回归任务中的分布外鲁棒性。
• 通过用基于标签的相似性替代基于特征的相似性进行样本对采样，降低计算成本并提升插值质量。
• 开发一种可扩展、鲁棒且理论基础坚实的回归方法，以缓解虚假相关性和域偏移问题。

提出的方法

• C-Mixup 使用高斯核根据连续标签之间的欧氏距离计算混合样本对的采样概率。
• 它用标签相似性替代均匀分布或基于特征的采样，确保仅标签相近的样本才可能被混合。
• 该方法通过线性插值特征和标签，并使用服从 Beta(α, α) 分布的混合系数 λ 实现，无缝集成到标准训练流程中。
• 通过 MetaMix 扩展至元学习，其中 C-Mixup 在基于 MAML 的少样本回归中提升了任务泛化能力。
• 该算法采用两阶段流程：首先计算隐藏表征以用于距离计算，然后基于标签或表征相似性执行 mixup 操作。
• 它使用高斯核中的带宽参数 σ 控制相似性加权的敏感度，在广泛的 σ 取值范围内表现出稳健性。

实验结果

研究问题

• RQ1 与均匀分布或基于特征的采样相比，基于标签的采样是否能提升 mixup 在回归任务中的泛化能力？
• RQ2 C-Mixup 是否通过鼓励域不变表征来提升分布外鲁棒性？
• RQ3 在元学习设置下，C-Mixup 相较于原始 mixup 在少样本回归中的表现如何？
• RQ4 C-Mixup 对超参数选择（如 Beta 分布的带宽 σ 和形状参数 α）是否具有鲁棒性？
• RQ5 在标签噪声存在的情况下，C-Mixup 的表现如何？是否仍优于标准 mixup？

主要发现

• 在评估的回归任务中，C-Mixup 相较于最佳 prior 方法，在分布内泛化上实现了 6.56% 的性能提升。
• 在元学习设置中，C-Mixup 相较于原始 MetaMix，将任务泛化能力提升了 4.76%。
• C-Mixup 在分布外鲁棒性方面实现了 5.82% 的提升，尤其在协变量偏移下表现更优。
• 该方法对超参数选择具有鲁棒性：在广泛的带宽 σ 和形状参数 α 取值范围内，性能保持稳定。
• 在全部 11 个数据集（包括表格数据、图像和视频数据）中，C-Mixup 均优于原始 mixup 和基于特征相似性的 mixup。
• 在 30% 标签噪声存在的情况下，C-Mixup 仍保持优越性能，相较于 ERM 平均降低 RMSE 1.0%，相较于 mixup 降低 1.3%。