[논문 리뷰] Invariant Risk Minimization Games

Kartik Ahuja, Karthikeyan Shanmugam외 2명|arXiv (Cornell University)|2020. 02. 11.

Gaussian Processes and Bayesian Inference참고 문헌 35인용 수 31

한 줄 요약

논문은 invariant risk minimization을 환경들 간의 Nash 균형 문제로 재정의하고, invariant 예측기로 매칭되는 균형을 갖는 앙상블 게임(EIRM)을 도입하며, 경쟁력을 가진 성능과 더 낮은 분산을 가진 BRD 기반 학습 알고리즘을 제시합니다.

ABSTRACT

The standard risk minimization paradigm of machine learning is brittle when operating in environments whose test distributions are different from the training distribution due to spurious correlations. Training on data from many environments and finding invariant predictors reduces the effect of spurious features by concentrating models on features that have a causal relationship with the outcome. In this work, we pose such invariant risk minimization as finding the Nash equilibrium of an ensemble game among several environments. By doing so, we develop a simple training algorithm that uses best response dynamics and, in our experiments, yields similar or better empirical accuracy with much lower variance than the challenging bi-level optimization problem of Arjovsky et al. (2019). One key theoretical contribution is showing that the set of Nash equilibria for the proposed game are equivalent to the set of invariant predictors for any finite number of environments, even with nonlinear classifiers and transformations. As a result, our method also retains the generalization guarantees to a large set of environments shown in Arjovsky et al. (2019). The proposed algorithm adds to the collection of successful game-theoretic machine learning algorithms such as generative adversarial networks.

연구 동기 및 목표

• 배포 간의 분포 변화에 대해 불변성을 활용하여 견고한 예측을 유도한다.
• IRM을 다중 환경 앙상블 게임으로 형식화하여 불변 예측기를 식별한다.
• EIRM 게임에서 Nash 균형을 계산하기 위한 실용적 최적응답(BRD) 다이나믹스 알고리즘을 제시한다.
• 완화된 가정 아래에서 Nash 균형과 불변 예측기 간의 이론적 등가성을 보인다.
• 합성 및 실 데이터셋에서 IRM 및 ERM 기준선에 비해 정확도 및 분산 측면의 실험적 이점을 보인다.

제안 방법

• 환경별 분류기 w^e를 모아 평균화된 앙상블 분류기 w^av를 정의한다.
• 각 환경이 BRD에 의해 w^e 및 공유 표현 Phi에 대해 위험을 최소화하는 게임을 형식화한다.
• EIRM 게임의 NE가 환경 간 불변 예측기에 대응함을 보인다(Theorem 1).
• 고정된 Phi(F-IRM)와 학습된 Phi(V-IRM) 두 가지 학습 체계를 제시하고, w^e와 Phi에 대한 BRD 업데이트를 수행한다.
• 주기적 Phi 업데이트와 환경별 SGD 스텝을 포함하는 알고리즘(Algorithm 1)을 제시한다.
• 선형-폐쇄성(Assumption 1) 하의 존재성 및 선형/힐베르트 함수 계층에서 NE의 존재성(정리 3)을 논의한다.

실험 결과

연구 질문

• RQ1 다중 환경에서 불변 예측기가 다중 환경 게임의 Nash 균형으로 특징지어질 수 있는가?
• RQ2 BRD 기반 학습 체계가 불변 예측기로 수렴하는가, 그리고 어떤 조건에서 NE가 존재하는가?
• RQ3 EIRM의 NE와 IRM의 불변 예측기 집합 간의 관계는 무엇인가?
• RQ4 Phi를 고정하느냐 학습하느냐가 불변 예측기를 회복하는 능력에 영향을 주는가?
• RQ5 제안한 방법들이 비선형 분류기에 일반화되고 분포 변화에 대해 강건한 성능을 제공하는가?

주요 결과

• 앙상블 게임은 환경 간 불변 예측기와 같은 예측기 집합을 산출한다(정리 1 및 코릴로리 1).
• 고정된 표현 또는 학습된 표현 중 하나를 사용하는 BRD 기반 학습은 기존 IRM보다 정확도는 같거나 더 우수하고 분산은 더 낮다(예: Colored MNIST 결과).
• 이 접근법은 선형 Phi나 w에 국한되지 않고 비선형 분류기로도 불변성 보장을 유지한다.
• Phi를 고정(항등)하고 EIRM 게임을 해결하는 것만으로도 불변 예측기를 회복하고 L^p 노름이 범위 내에 있음을 보인다(정리 2).
• 선형 모델의 경우 볼록하고 연속적인 손실 하에서 순수 Nash 균형이 존재하며, 더 일반화된 모델에서는 혼합 균형이 존재한다(정리 3).
• 실험 결과는 F-IRM 및 V-IRM 변형이 일반적으로 표준 IRM 및 ERM 기준선에 비해 데이터셋 전반의 견고성 및 안정성에서 우수한 경향을 보인다.