[论文解读] Risk Variance Penalization: From Distributional Robustness to Causality.

Chuanlong Xie, Fei Chen+2 more|arXiv (Cornell University)|Jun 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 62被引用 18

一句话总结

本文提出风险方差惩罚（RVP），一种源自风险外推（REx）的新正则化方法，通过在不同环境中促使训练风险相等，以提升分布外泛化能力。RVP 提供了一种稳定且可解释的方法来学习不变（因果）特征，在鲁棒性方面优于 ERM 和 RO，并在特定条件下展现出因果发现能力。

ABSTRACT

Learning under multi-environments often requires the ability of out-of-distribution generalization for the worst-environment performance guarantee. Some novel algorithms, e.g. Invariant Risk Minimization and Risk Extrapolation, build stable models by extracting invariant (causal) feature. However, it remains unclear how these methods learn to remove the environmental features. In this paper, we focus on the Risk Extrapolation (REx) and make attempts to fill this gap. We first propose a framework, Quasi-Distributional Robustness, to unify the Empirical Risk Minimization (ERM), the Robust Optimization (RO) and the Risk Extrapolation. Then, under this framework, we show that, comparing to ERM and RO, REx has a much larger robust region. Furthermore, based on our analysis, we propose a novel regularization method, Risk Variance Penalization (RVP), which is derived from REx. The proposed method is easy to implement, and has proper degree of penalization, and enjoys an interpretable tuning parameter. Finally, our experiments show that under certain conditions, the regularization strategy that encourages the equality of training risks has ability to discover relationships which do not exist in the training data. This provides important evidence to support that RVP is useful to discover causal models.

研究动机与目标

• 阐明风险外推（REx）在多环境学习中如何学习去除虚假环境特征。
• 在名为“准分布鲁棒性”的新框架下，统一经验风险最小化（ERM）、鲁棒优化（RO）和 REx。
• 提出一种新的正则化方法——风险方差惩罚（RVP），以增强鲁棒性并支持因果模型发现。
• 提供一个可解释的超参数调节机制，以及一种稳定且可实现的方法，以提升分布外性能。

提出的方法

• 提出“准分布鲁棒性”作为 ERM、RO 和 REx 的统一框架，使它们的鲁棒性特性能够进行对比分析。
• 通过惩罚不同环境中风险的方差，从 REx 衍生出风险方差惩罚（RVP），以促进风险均等化。
• 引入一种正则化项，以促使模型在不同环境中表现相似，从而增强泛化能力。
• 在 RVP 中使用可调超参数来控制惩罚程度，使其具有可解释性且易于实现。
• 在“准分布鲁棒性”框架下分析 REx 的鲁棒区域，表明其显著大于 ERM 和 RO 的鲁棒区域。
• 通过实证评估，证明 RVP 具备发现训练数据中不存在的因果关系的能力。

实验结果

研究问题

• RQ1 风险外推（REx）如何学习去除环境特征？其卓越鲁棒性的根源是什么？
• RQ2 能否建立一个统一框架，以分布鲁棒性为基准，比较 ERM、RO 和 REx？
• RQ3 在不同环境中强制实现风险均等化，是否能导致因果模型发现，即使这些关系在训练数据中并不存在？
• RQ4 基于方差的正则化对分布外泛化性能有何影响？

主要发现

• 在所提出的“准分布鲁棒性”框架下，REx 的鲁棒区域显著大于 ERM 和 RO。
• 风险方差惩罚（RVP）源自 REx，提供了一种稳定且可解释的正则化策略，并具有明确的可调超参数。
• 在特定条件下，RVP 能够发现训练数据中不存在的因果关系，支持其在因果表征学习中的作用。
• 所提出的方法通过在不同环境中促进风险均等化，实现了改进的分布外泛化性能，展现出实际应用价值。