[論文レビュー] Risk Variance Penalization: From Distributional Robustness to Causality.

Chuanlong Xie, Fei Chen+2 more|arXiv (Cornell University)|Jun 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 62被引用数 18

ひとこと要約

本稿では、リスク外挿法（REx）に基づいて導出された、分布外一般化を向上させるために、環境間での訓練リスクを均等にするよう促す、新たな正則化手法であるリスク分散ペナルティ（RVP）を提案する。RVPは、不変（因果的）特徴を学習するための安定的で解釈可能な方法を提供し、ERMおよびROを上回る頑健性を示し、特定の条件下で因果的発見能力を有する。

ABSTRACT

Learning under multi-environments often requires the ability of out-of-distribution generalization for the worst-environment performance guarantee. Some novel algorithms, e.g. Invariant Risk Minimization and Risk Extrapolation, build stable models by extracting invariant (causal) feature. However, it remains unclear how these methods learn to remove the environmental features. In this paper, we focus on the Risk Extrapolation (REx) and make attempts to fill this gap. We first propose a framework, Quasi-Distributional Robustness, to unify the Empirical Risk Minimization (ERM), the Robust Optimization (RO) and the Risk Extrapolation. Then, under this framework, we show that, comparing to ERM and RO, REx has a much larger robust region. Furthermore, based on our analysis, we propose a novel regularization method, Risk Variance Penalization (RVP), which is derived from REx. The proposed method is easy to implement, and has proper degree of penalization, and enjoys an interpretable tuning parameter. Finally, our experiments show that under certain conditions, the regularization strategy that encourages the equality of training risks has ability to discover relationships which do not exist in the training data. This provides important evidence to support that RVP is useful to discover causal models.

研究の動機と目的

• マルチ環境学習におけるリスク外挿法（REx）が、誤った環境的特徴をどのように学習して除去するかを明確にすること。
• Empirical Risk Minimization（ERM）、Robust Optimization（RO）、およびRExを統一する新しい枠組みである準分布頑健性（Quasi-Distributional Robustness）を確立すること。
• 分布外一般化の向上と因果モデル発見の支援を可能にする、新たな正則化手法であるリスク分散ペナルティ（RVP）を提案すること。
• 解釈可能なチューニングパラメータと、安定的かつ実装可能な方法を提供し、分布外性能を向上させること。

提案手法

• ERM、RO、およびRExを統一する枠組みとして、準分布頑健性（Quasi-Distributional Robustness）を提案し、それらの頑健性特性を比較的分析可能にする。
• RExからリスク分散ペナルティ（RVP）を導出し、環境間でのリスクの分散をペナルティ化することで、リスク均等性を促進する。
• 異なる環境におけるモデル性能を類似させるよう促す正則化項を導入し、一般化性能を向上させる。
• RVPにおける調整可能なハイパーパrameterを用い、ペナルティの度合いを制御することで、解釈可能で実装が容易な手法を実現する。
• 準分布頑健性フレームワーク下でRExの頑健領域を分析し、ERMおよびROよりも顕著に大きな領域であることを示す。
• 実験的評価を用いて、RVPが訓練データに存在しない因果関係の発見能力を有することを示す。

実験結果

リサーチクエスチョン

• RQ1 リスク外挿法（REx）は、環境的特徴をどのように学習して除去するのか。また、その優れた頑健性を支える要因は何なのか。
• RQ2 ERM、RO、およびRExの分布頑健性の観点から比較可能な統一フレームワークを確立できるか。
• RQ3 環境間でのリスク均等性を促進することで、訓練データに存在しない因果関係の発見が可能になるか。
• RQ4 分散に基づく正則化は、分布外一般化性能にどのような影響を与えるか。

主な発見

• 提案された準分布頑健性フレームワーク下で、RExはERMおよびROと比較して顕著に大きな頑健領域を示す。
• リスク分散ペナルティ（RVP）はRExに基づいて導出され、明確なチューニングパラメータを有する安定的で解釈可能な正則化戦略を提供する。
• 特定の条件下では、RVPは訓練データに存在しない因果関係の発見を可能にし、因果的表現学習における役割を支持する。
• 環境間でのリスク均等性を促進することで、本手法は分布外一般化性能の向上を達成し、実用的価値を示す。