[논문 리뷰] When Does Group Invariant Learning Survive Spurious Correlations?

Yimeng Chen, Ruibin Xiong외 2명|arXiv (Cornell University)|2022. 06. 29.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 기존의 그룹 불변 학습(group-IL) 방법에 근본적인 결함이 있음을 밝혀내며, 허위 상관관계 변화에 일반화하지 못하는 이유는 부적절한 그룹 구성 때문임을 규명한다. 본 논문은 통계적 인식 테스트를 활용해 허위 특징 기반으로 계층을 구성하고, 그룹 레이블 비율에 따라 샘플을 재가중하는 새로운 방법인 SCILL을 제안한다. 이는 증명 가능하게 허위 상관관계가 없는 일반화를 달성하며, 합성 및 실제 데이터 기준에서 기존 방법들을 능가한다.

ABSTRACT

By inferring latent groups in the training data, recent works introduce invariant learning to the case where environment annotations are unavailable. Typically, learning group invariance under a majority/minority split is empirically shown to be effective in improving out-of-distribution generalization on many datasets. However, theoretical guarantee for these methods on learning invariant mechanisms is lacking. In this paper, we reveal the insufficiency of existing group invariant learning methods in preventing classifiers from depending on spurious correlations in the training set. Specifically, we propose two criteria on judging such sufficiency. Theoretically and empirically, we show that existing methods can violate both criteria and thus fail in generalizing to spurious correlation shifts. Motivated by this, we design a new group invariant learning method, which constructs groups with statistical independence tests, and reweights samples by group label proportion to meet the criteria. Experiments on both synthetic and real data demonstrate that the new method significantly outperforms existing group invariant learning methods in generalizing to spurious correlation shifts.

연구 동기 및 목표

• 기존 그룹 불변 학습 방법이 경험적으로 성공함에도 불구하고 허위 상관관계 변화에 일반화하지 못하는 이유를 규명하는 것.
• 그룹 불변 학습이 불변의, 허위 상관관계 없는 표현을 학습하는 데 성공하기 위해 필요한 가정과 이론적 조건을 정식화하는 것.
• 허위 상관관계에 대한 강건성을 만족하는 이론적 기준을 충족하는 새로운 그룹 불변 학습 방법을 설계하는 것.
• 제안된 방법이 합성 및 실제 데이터에서 기존 그룹 불변 학습 접근법보다 뛰어나다는 것을 실증적으로 검증하는 것.

제안 방법

• 허위 상관관계를 포함하는 기준 예측기의 분할을 통해 그룹을 구성하며, 통계적 인식 테스트를 사용해 각 그룹 내에서 허위 특징가 레이블과 조건부 독립이 되도록 보장한다.
• 각 그룹 내에서 근사 확률과 조건부 확률의 비율에 따라 샘플을 재가중하여 그룹의 레이블 분포를 균형 잡는다.
• 유추된 그룹 기반으로 불변 학습 목표를 적용하며, 그룹 간 예측 분산을 페널티로 줄여 불변성을 장려한다.
• 허위 특징만을 사용해 훈련된 기준 모델을 활용해 계층을 정의함으로써, 그룹 경계가 허위 신호의 의미 있는 변동을 반영하도록 보장한다.
• 그룹 별 가중 교차 엔트로피와 불변성 강제화를 위한 페널티 항을 조합한 손실 함수를 사용한다.
• 이론적 분석을 통해 이상적인 조건 하에서, 본 방법이 거짓 노출 조건과 레이블 균형 조건을 충족함으로써 허위 상관관계 없는 일반화(SFC)를 달성함을 증명한다.

실험 결과

연구 질문

• RQ1 기존 그룹 불변 학습 방법이 허위 상관관계 변화에 일반화하지 못하는 조건는 무엇인가?
• RQ2 그룹 불변 학습이 불변의, 허위 상관관계 없는 표현을 성공적으로 학습하기 위해 필요한 이론적 기준은 무엇인가?
• RQ3 허위 상관관계 노출 및 균형 잡힌 레이블 분포를 확보하기 위해 그룹 구성 방식을 어떻게 개선할 수 있는가?
• RQ4 허위 상관관계에 대한 강건성을 보장하는 이론적 기준을 충족하는 새로운 그룹 불변 학습 방법을 설계할 수 있는가?
• RQ5 제안된 방법은 허위 상관관계 변화 하에서 기존 그룹 불변 학습 접근법과 비교해 실제로 어떻게 성능을 냅니까?

주요 결과

• 기존 그룹 불변 학습 방법, 예를 들어 다수/소수 분할을 사용하는 방법들은 특히 허위 특징이 多변량일 경우 거짓 노출 조건과 레이블 균형 조건을 모두 위반한다.
• 제안된 SCILL 방법은 통계적 인식 테스트를 통한 그룹 구성과 그룹 레이블 비율에 따른 샘플 재가중을 통해 이론적 조건을 모두 충족한다.
• 합성 벤치마크에서 SCILL은 기존 그룹 불변 학습 방법보다 훨씬 높은 OOD 정확도를 달성하며, 특히 다변량 허위 상관관계 변화 하에서 두각을 나타낸다.
• 실제 데이터셋에서의 실증 결과는 SCILL이 허위 상관관계 변화에 더 잘 일반화됨을 확인하며, 다양한 분포 변화에 걸쳐 강건한 성능을 보임을 보여준다.
• 이론적 분석을 통해 기준 모델이 최적일 경우 SCILL이 허위 상관관계 없는 일반화(SFC)를 달성함을 증명하며, 강건성에 대한 증명 가능한 보장을 제공한다.
• 기준 모델이 완벽하지 않은 경우에도 본 방법은 일관된 성능 향상을 보이며, 다양한 실험 설정에서 효과적임을 입증한다.