[논문 리뷰] Meta-Learned Invariant Risk Minimization

Jun-Hyun Bae, Inchul Choi외 1명|arXiv (Cornell University)|2021. 03. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 4

한 줄 요약

이 논문은 모델에 종속되지 않은 메타학습(MAML)을 사용하여 선형 분류기 가정 없이 직접 이상적인 이중계층 불변 위험 최소화(IRM) 목적함수를 최적화하는 메타-IRM을 제안한다. 각 환경를 작업으로 간주하고 내부 루프와 외부 루프의 분리된 최적화를 통해 불변성을 강제함으로써, 메타-IRM은 데이터가 부족하거나 허위 상관관계가 풍부한 경우에도 특히 뛰어난 분포 외(OOD) 일반화 성능을 달성한다. 이는 선형 및 비선형 환경 모두에서 IRMv1 및 모든 변형보다 뛰어나다.

ABSTRACT

Empirical Risk Minimization (ERM) based machine learning algorithms have suffered from weak generalization performance on data obtained from out-of-distribution (OOD). To address this problem, Invariant Risk Minimization (IRM) objective was suggested to find invariant optimal predictor which is less affected by the changes in data distribution. However, even with such progress, IRMv1, the practical formulation of IRM, still shows performance degradation when there are not enough training data, and even fails to generalize to OOD, if the number of spurious correlations is larger than the number of environments. In this paper, to address such problems, we propose a novel meta-learning based approach for IRM. In this method, we do not assume the linearity of classifier for the ease of optimization, and solve ideal bi-level IRM objective with Model-Agnostic Meta-Learning (MAML) framework. Our method is more robust to the data with spurious correlations and can provide an invariant optimal classifier even when data from each distribution are scarce. In experiments, we demonstrate that our algorithm not only has better OOD generalization performance than IRMv1 and all IRM variants, but also addresses the weakness of IRMv1 with improved stability.

연구 동기 및 목표

• 훈련 데이터에 허위 상관관계가 포함되어 있을 때, 경험적 위험 최소화(ERM)의 열악한 OOD 일반화 성능을 해결한다.
• 환경 수가 허위 상관관계 수보다 적거나 각 환경의 훈련 데이터가 부족할 경우 실패하는 IRMv1의 한계를 극복한다.
• 선형 가정을 단순화하지 않고 이상적인 이중계층 IRM 목적함수를 직접 최적화함으로써 더 견고하고 안정적인 불변 예측자 학습 방법을 개발한다.
• 분류기의 선형 제약 조건을 제거함으로써 비선형 환경에서도 효과적인 OOD 일반화를 가능하게 한다.
• 메타손실 분산에 대한 보조 정규화와 이阶 도함수 업데이트를 통해 최적화 안정성과 성능을 향상시킨다.

제안 방법

• 모든 훈련 환경를 메타학습의 별개의 작업으로 간주하고 이상적인 IRM 목적함수를 이중계층 최적화 문제로 공식화한다.
• 내부 루프(작업별 적응)와 외부 루프(메타업데이트)에 서로 다른 환경를 사용하여, 이중계층 문제를 해결하기 위해 모델에 종속되지 않은 메타학습(MAML)을 적용한다.
• IRMv1의 선형 분류기 가정을 완화하기 위해 비선형 모델을 허용함으로써 더 나은 표현 학습과 일반화를 가능하게 한다.
• 모든 환경에서 메타손실의 표준편차를 최소화하는 보조 손실을 도입하여 불변성을 강제하고 훈련 안정성을 향상시킨다.
• 진정한 이중계층 최적화를 더 잘 근사하기 위해 메타업데이트에 이阶 도함수를 사용함으로써 수렴성과 성능을 향상시킨다.
• 테스트 데이터의 이질성이 심할지라도 다양한 환경에서 일관된 성능을 내기 위해 분류기를 최적화함으로써 불변성을 확보한다.

실험 결과

연구 질문

• RQ1 선형 분류기 가정 없이 이상적인 이중계층 IRM 목적함수를 효과적으로 최적화할 수 있는 메타학습 프레임워크는 가능한가?
• RQ2 제안된 메타-IRM 방법은 특히 데이터가 적거나 허위 상관관계가 많은 경우 IRMv1 및 그 변형보다 더 나은 OOD 일반화 성능을 달성하는가?
• RQ3 이阶 도함수와 분리된 환경 샘플링은 안정적이고 불변적인 예측자를 얻는 데 얼마나 중요한가?
• RQ4 메타손실 분산 기반의 보조 손실은 모델의 견고성과 성능을 얼마나 향상시키는가?
• RQ5 IRMv1의 제한적인 선형 가정으로 실패하는 비선형 환경에서도 메타-IRM은 효과적으로 일반화할 수 있는가?

주요 결과

• 메타-IRM은 IRMv1 및 모든 IRM 변형보다 유의미하게 뛰어난 OOD 일반화 성능을 달성하며, p_e = 0.9 및 p_e2 = 0.9인 테스트 환경에서 54.5%의 정확도를 기록했고, IRMv1의 13.4%에 비해 뛰어나다.
• 색상과 패치라는 두 가지 허위 특성을 가진 Colored MNIST 작업에서, 메타-IRM은 모든 테스트 환경에서 일관된 성능(54.5% ± 4.0)을 유지하지만, IRMv1은 가장 분포가 떨어진 설정에서 13.4%로 붕괴된다.
• 제거 실험 결과, 표준편차 손실을 제거하면 OOD 성능이 떨어지며(64.2% 대 70.4%로 메타-IRM), 이는 불변성 학습의 안정성 향상에 기여한다는 것을 확인한다.
• 메타업데이트에 일阶 근사를 사용할 경우 성능이 저하되며(59.1% 대 70.4%), 이는 정확한 이중계층 최적화를 위해 이阶 도함수가 중요한 역할을 한다는 것을 입증한다.
• 내부 루프와 외부 루프에 동일한 환경를 사용할 경우 OOD 일반화 성능이 열악해지며(13.6% 정확도), 이는 불변성을 확보하기 위해 분리된 환경 샘플링이 필수적임을 증명한다.
• 진짜 인과적 특성이 노이즈가 있을 경우에도 메타-IRM은 안정적이고 불변적인 예측을 수행하며, 원래 IRM 목적함수의 한계를 초월한 견고성을 보여준다.