[논문 리뷰] Risk Variance Penalization: From Distributional Robustness to Causality.

Chuanlong Xie, Fei Chen외 2명|arXiv (Cornell University)|2020. 06. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 62인용 수 18

한 줄 요약

이 논문은 분포 외 일반화를 향상시키기 위해 환경 간 동일한 학습 위험을 유도함으로써 불변(인과적) 특징을 학습하는 데 안정적이고 해석 가능한 방법을 제공하는 새로운 정규화 방법인 리스크 분산 페널티(Risk Variance Penalization, RVP)를 소개한다. RVP는 ERM 및 RO보다 강건성을 높이며, 특정 조건 하에서 인과적 특징 발견 능력을 보이며, 분포 외 일반화 성능을 향상시킨다.

ABSTRACT

Learning under multi-environments often requires the ability of out-of-distribution generalization for the worst-environment performance guarantee. Some novel algorithms, e.g. Invariant Risk Minimization and Risk Extrapolation, build stable models by extracting invariant (causal) feature. However, it remains unclear how these methods learn to remove the environmental features. In this paper, we focus on the Risk Extrapolation (REx) and make attempts to fill this gap. We first propose a framework, Quasi-Distributional Robustness, to unify the Empirical Risk Minimization (ERM), the Robust Optimization (RO) and the Risk Extrapolation. Then, under this framework, we show that, comparing to ERM and RO, REx has a much larger robust region. Furthermore, based on our analysis, we propose a novel regularization method, Risk Variance Penalization (RVP), which is derived from REx. The proposed method is easy to implement, and has proper degree of penalization, and enjoys an interpretable tuning parameter. Finally, our experiments show that under certain conditions, the regularization strategy that encourages the equality of training risks has ability to discover relationships which do not exist in the training data. This provides important evidence to support that RVP is useful to discover causal models.

연구 동기 및 목표

• 다중 환경 학습에서 리스크 외삽(Risk Extrapolation, REx)이 유사 환경적 특징을 어떻게 제거하는지 명확히 하기 위해.
• Empirical Risk Minimization(ERM), Robust Optimization(RO), REx를 새로운 프레임워크인 준-분포 강건성(Quasi-Distributional Robustness)으로 통합하기 위해.
• 강건성 향상과 인과 모델 발견을 지원하는 새로운 정규화 방법인 리스크 분산 페널티(Risk Variance Penalization, RVP)를 제안하기 위해.
• 해석 가능한 조정 가능한 파라미터와 안정적이고 구현 가능한 방법을 제공하여 분포 외 성능을 향상시키기 위해.

제안 방법

• ERM, RO, REx를 통합할 수 있는 새로운 프레임워크인 준-분포 강건성(Quasi-Distributional Robustness)을 제안하여, 이들의 강건성 특성에 대한 비교 분석을 가능하게 한다.
• 환경 간 리스크의 분산을 페널티로 삼아 REx에서 리스크 분산 페널티(Risk Variance Penalization, RVP)를 유도함으로써 리스크 균형을 촉진한다.
• 다양한 환경에서 유사한 모델 성능을 유도하는 정규화 항을 도입하여 일반화 성능을 향상시킨다.
• RVP에서 조정 가능한 하이퍼파rameter를 사용하여 페널티 정도를 제어함으로써, 조정이 가능하고 쉽게 구현 가능한 방법을 제공한다.
• 준-분포 강건성 프레임워크 하에서 REx의 강건 영역을 분석하여, ERM 및 RO보다 상당히 넓다는 것을 보여준다.
• 실증적 평가를 통해 RVP가 훈련 데이터에 존재하지 않는 인과 관계를 발견할 수 있음을 입증한다.

실험 결과

연구 질문

• RQ1 리스크 외삽(REx)은 어떻게 환경적 특징을 제거하며, 그로 인해 우수한 강건성을 달성할 수 있는가?
• RQ2 분포 강건성 측면에서 ERM, RO, REx를 비교할 수 있는 통합된 프레임워크를 수립할 수 있는가?
• RQ3 환경 간 리스크 균형을 유도하면, 훈련 데이터에 존재하지 않는 인과 관계도 발견할 수 있는가?
• RQ4 분산 기반 정규화의 영향은 분포 외 일반화 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 준-분포 강건성 프레임워크 하에서 REx는 ERM 및 RO보다 상당히 큰 강건 영역을 보인다.
• 리스크 분산 페널티(Risk Variance Penalization, RVP)는 REx에서 유도되며, 명확한 조정 가능한 파라미터를 지닌 안정적이고 해석 가능한 정규화 전략을 제공한다.
• 특정 조건 하에서 RVP는 훈련 데이터에 존재하지 않는 인과 관계의 발견을 가능하게 하여, 인과적 표현 학습에서의 역할을 뒷받침한다.
• 환경 간 동일한 리스크를 유도함으로써 분포 외 일반화 성능을 향상시키는 데 성공하여 실용적 유용성을 입증한다.