[논문 리뷰] Invariant Learning via Probability of Sufficient and Necessary Causes

Mengyue Yang, Zhen Fang외 6명|arXiv (Cornell University)|2023. 09. 22.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 분포 외 일반화를 위한 필수적이고 충분한 원인적 표현을 식별하기 위해 충분성과 필수성의 확률(PNS)을 활용하는 새로운 불변 학습 프레임워크를 제안한다. PNS 위험 목적함수를 도입하고 그 일반화 갭을 이론적으로 경계함으로써, 다양한 합성 및 실제 세계 벤치마크에서 상태최저 성능을 기록하는 강건하고 분리된 표현을 학습한다. 이는 기존 최고 수준의 방법들을 능가한다.

ABSTRACT

Out-of-distribution (OOD) generalization is indispensable for learning models in the wild, where testing distribution typically unknown and different from the training. Recent methods derived from causality have shown great potential in achieving OOD generalization. However, existing methods mainly focus on the invariance property of causes, while largely overlooking the property of extit{sufficiency} and extit{necessity} conditions. Namely, a necessary but insufficient cause (feature) is invariant to distribution shift, yet it may not have required accuracy. By contrast, a sufficient yet unnecessary cause (feature) tends to fit specific data well but may have a risk of adapting to a new domain. To capture the information of sufficient and necessary causes, we employ a classical concept, the probability of sufficiency and necessary causes (PNS), which indicates the probability of whether one is the necessary and sufficient cause. To associate PNS with OOD generalization, we propose PNS risk and formulate an algorithm to learn representation with a high PNS value. We theoretically analyze and prove the generalizability of the PNS risk. Experiments on both synthetic and real-world benchmarks demonstrate the effectiveness of the proposed method. The details of the implementation can be found at the GitHub repository: https://github.com/ymy4323460/CaSN.

연구 동기 및 목표

• 기존의 불변 학습 방법이 유일하게 불변 원인에 집중하면서도 필수성과 충분성 조건을 간과하는 한계를 해결하기 위해.
• 정확한 예측을 위해 필수적이고 충분한 표현을 식별함으로써 분포 외(OOD) 일반화를 향상시키기 위해.
• 특징이 필수적이고 충분한 원인임을 정량화하는 새로운 위험 목적함수인 PNS 위험을 체계화하기 위해.
• OOD 설정 하에서 소스 도메인과 테스트 도메인의 PNS 위험 간 일반화 갭을 이론적으로 경계하기 위해.
• 낮은 PNS 위험을 갖는 표현을 학습하는 알고리즘을 개발하여, 미지의 분포에서의 안정성과 강건성을 보장하기 위해.

제안 방법

• 특징이 레이블 예측에 대해 필수적이고 충분한 조건을 만족할 확률로 정의된 새로운 위험 목적함수인 PNS 위험을 제안한다.
• 기존의 인과도가 알려진 상황에서 관측 데이터로부터 PNS 값을 추정하기 위해 반사적 추론을 사용한다.
• PAC 학습 프레임워크를 활용하여 소스 도메인과 테스트 도메인의 PNS 위험 간 일반화 갭에 대한 이론적 경계를 유도한다.
• 표현 학습 과정에서 PNS 위험을 최소화하는 최적화 알고리즘을 설계하여 분포 이동에 대한 강건성을 향상시킨다.
• 표현 공간을 의미론적으로 분리된 구조로 설계하여 단조성 및 외생성 조건을 강제한다.
• 대조 기반 목적함수와 유사한 방식을 사용하지만, 인스턴스 수준의 대조성 대신 반사적 PNS 추론에 기반한다.

Figure 1: (a) Examples for causal sufficiency and necessity in the cat classification. (b) The causal graph for OOD generalization problem. The arrows denote the causal generative direction and the dashed line connects the spurious correlated variables. Notations are formally defined in Section 2.1

실험 결과

연구 질문

• RQ1 PNS 위험은 예측에 필수적이고 충분한 원인적 특징을 식별하는 데 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ2 분포 이동 상황에서 소스 도메인의 PNS 위험은 미지의 테스트 도메인에서의 값과 어떻게 관련이 있는가?
• RQ3 PNS 위험을 최소화하는 것이 기존의 불변 위험 최소화 방법에 비해 더 나은 OOD 일반화 성능을 이끌 수 있는가?
• RQ4 PNS 위험을 사용해 훈련된 모델의 일반화 성능에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 제안된 방법은 합성 및 실제 세계 데이터에서 최신의 OOD 일반화 기준 방법들과 비교해 실제로 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 합성 및 실제 세계 OOD 일반화 벤치마크에서 모두 최고 성능을 기록하며, 뛰어난 강건성을 입증하였다.
• 이론적 분석을 통해 소스 도메인의 PNS 위험은 테스트 도메인의 위험을 밀도 있게 근사함을 보였다.
• 실험 결과, 낮은 PNS 위험을 갖는 표현이 분포 이동 상황에서도 더 잘 일반화됨을 확인하였으며, 특히 최악의 상황에서 두드러진 성능 향상을 보였다.
• 이 방법은 허위 상관관계에 의존하지 않고 필수적이고 충분한 원인적 특징을 성공적으로 포착하였다.
• GitHub 구현체(https://github.com/ymy4323460/CaSN)는 재현 가능성과 원인적 표현 학습 분야의 향후 연구를 가능하게 한다.

(a) Spurious degree $s=0.1$