[논문 리뷰] An Empirical Study of Invariant Risk Minimization

Yo Joong Choe, Jiyeon Ham외 1명|arXiv (Cornell University)|2020. 04. 10.

Risk and Portfolio Optimization참고 문헌 14인용 수 21

한 줄 요약

이 논문은 여러 훈련 환경에서 불변성 있는 예측기 학습을 통해 분포 외 일반화를 향상시키는 Invariant Risk Minimization (IRMv1) 프레임워크를 실증적으로 평가한다. 환경 간의 다양성이 클수록 IRMv1이 OOD 성능을 향상시키며, 근사적인 불변성 조건 하에서도 근사적인 불변 표현을 학습하고, 텍스트 분류 작업으로까지 일반화됨을 보여준다.

ABSTRACT

Invariant risk minimization (IRM) (Arjovsky et al., 2019) is a recently proposed framework designed for learning predictors that are invariant to spurious correlations across different training environments. Yet, despite its theoretical justifications, IRM has not been extensively tested across various settings. In an attempt to gain a better understanding of the framework, we empirically investigate several research questions using IRMv1, which is the first practical algorithm proposed to approximately solve IRM. By extending the ColoredMNIST experiment in different ways, we find that IRMv1 (i) performs better as the spurious correlation varies more widely between training environments, (ii) learns an approximately invariant predictor when the underlying relationship is approximately invariant, and (iii) can be extended to an analogous setting for text classification.

연구 동기 및 목표

• 다양한 훈련 환경에서 분포 외(OOD) 일반화 성능에 대한 IRMv1의 효과를 실증적으로 평가하는 것.
• 기본적으로 인과관계가 근사적으로 불변일 때 IRMv1이 근사적인 불변 예측기를 학습할 수 있는지 조사하는 것.
• 임의의 텍스트 기반 데이터셋을 활용해 IRMv1을 자연어 처리(NLP) 작업으로 확장함으로써, 허위 연관성(스스로의 토큰-라벨 상관관계)을 가진 ColoredMNIST의 유사 구조를 구성하는 것.
• 통제된 허위 상관관계 설정 하에서 비전 및 텍스트 분류 작업에서 ERM 및 기준 모델과의 성능을 비교하는 것.
• 재현 가능성 및 다중 환경 설정에서의 IRM 연구를 지원하기 위해 오픈소스 코드를 제공하는 것.

제안 방법

• 훈련 환경 간의 허위 상관관계(색상-숫자 연관성) 정도를 다양하게 조절함으로써 ColoredMNIST 벤치마크를 확장한다.
• 실용적인 알고리즘인 IRMv1을 사용하여, 경험적 리스크에 더해 기울기 페널티 항목을 최소화함으로써 환경 간의 불변성을 강제한다.
• IRMv1의 기울기 페널티 항목은 분류기 가중치가 모든 환경에서 최적임을 암시하는 조건을 근사화하며, 이는 불변성을 촉진한다.
• 구두점을 라벨과 관련된 허위 특징으로 사용하는 PunctuatedSST-2를 활용해 동일한 프레임워크를 텍스트 분류 작업에 적용한다.
• NLP에서 IRMv1 페널티의 영향을 분리하기 위해 평균화된 단어 임베딩을 사용하는 간단한 bag-of-words 모델을 사용한다.
• 초기화 파라미터 탐색을 수행하고, 훈련 환경에서의 보류된 데이터셋 및 역상관관계를 가진 분포 외 환경에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 훈련 환경 간의 허위 상관관계 다양성이 IRMv1의 분포 외 일반화 성능에 어떤 영향을 미치는가?
• RQ2 기본 데이터 생성 과정이 근사적으로 불변일 때 IRMv1이 근사적인 불변 예측기를 학습할 수 있는가?
• RQ3 IRMv1 프레임워크는 허위 토큰-라벨 상관관계가 존재하는 텍스트 분류 작업으로 성공적으로 확장될 수 있는가?
• RQ4 비전 및 텍스트 벤치마크에서 IRMv1의 분포 외 정확도는 ERM 및 오라클 기준 모델과 비교해 어떻게 되는가?
• RQ5 다양한 환경 설정에서 허위 상관관계의 강도와 방향을 변화시켰을 때 모델의 일반화 성능에 어떤 영향을 미치는가?

주요 결과

• IRMv1의 분포 외 일반화 성능은 훈련 환경 간의 허위 상관관계가 더 넓게 산재할수록 향상된다.
• 기본 데이터 생성 과정이 근사적으로 불변일 경우 IRMv1은 일관된 성능을 보이며 근사적인 불변 예측기를 학습함을 입증한다.
• PunctuatedSST-2 텍스트 분류 벤치마크에서 IRMv1은 분포 외 정확도 61.4%를 기록했으며, 오라클 모델의 61.5% 정확도에 거의 근접한다.
• ERM은 허위 상관관계에 의존하기 때문에 분포 외 데이터에서 성능이 열악함(30.4% 정확도), 반면 IRMv1은 불변 표현을 학습함으로써 이를 완화한다.
• IRMv1 페널티는 비전 및 텍스트 작업 모두에서 모델의 허위 특징에 대한 의존도를 효과적으로 감소시키며, 이는 이미지 분류를 넘어서 일반화 가능성을 보여준다.
• 결과적으로 IRMv1는 다양한 허위 상관관계를 가진 실제 데이터셋에서 분포 외 일반화 성능 향상에 유망한 접근법이 될 수 있음을 시사한다.