[논문 리뷰] Invariance Principle Meets Information Bottleneck for Out-of-Distribution Generalization

Kartik Ahuja, Ethan Caballero외 5명|arXiv (Cornell University)|2021. 06. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 44

한 줄 요약

논문은 불변성만으로는 선형 분류에서 OOD 일반화에 충분하지 않음을 보여주고; 불변성과 정보 병목 제약을 결합하면 다양한 특징 정보성 하에서 강건한 OOD 일반화를 가능하게 하며 이론적 결과와 제안된 IB-IRM/IB-ERM 방법으로 뒷받침된다.

ABSTRACT

The invariance principle from causality is at the heart of notable approaches such as invariant risk minimization (IRM) that seek to address out-of-distribution (OOD) generalization failures. Despite the promising theory, invariance principle-based approaches fail in common classification tasks, where invariant (causal) features capture all the information about the label. Are these failures due to the methods failing to capture the invariance? Or is the invariance principle itself insufficient? To answer these questions, we revisit the fundamental assumptions in linear regression tasks, where invariance-based approaches were shown to provably generalize OOD. In contrast to the linear regression tasks, we show that for linear classification tasks we need much stronger restrictions on the distribution shifts, or otherwise OOD generalization is impossible. Furthermore, even with appropriate restrictions on distribution shifts in place, we show that the invariance principle alone is insufficient. We prove that a form of the information bottleneck constraint along with invariance helps address key failures when invariant features capture all the information about the label and also retains the existing success when they do not. We propose an approach that incorporates both of these principles and demonstrate its effectiveness in several experiments.

연구 동기 및 목표

• 분류 과제에서 불변성 원리만으로는 OOD 일반화가 실패하는 이유를 동기 부여하고 분석한다.
• 선형 SEM에서 OOD 일반화가 가능하거나 불가능한 조건을 규정한다.
• 완전히 정보가 풍부한 불변 특징과 부분적으로 정보가 풍부한 불변 특징을 다루기 위해 정보 병목 제약이 불변성을 보완하는 방식을 보여준다.
• 더 나은 OOD 성능을 위한 불변성과 정보 병목을 결합한 실용적 목적 함수(IB-IRM/IB-ERM)를 제안한다.
• 선형 단위 테스트와 실제 데이터셋 전반에 걸친 이론적 결과와 실증 시연을 제공한다.

제안 방법

• 선형 표현과 불변 예측기 목표를 갖는 IRM을 공식화한다(식 3).
• 가정 1 및 2하에서 선형 회귀 대 선형 분류 분석을 도입하여 FIIF와 PIIF 시나리오를 대조한다.
• 특징 지원 중첩 가정하에 불가능성 및 충분성 결과(정리 2 및 3)를 도출한다.
• 표현 출력의 엔트로피를 최소화하여 저 엔트로피이면서 고정보를 갖는 예측기를 선택하는 정보 병목(IB) 제약을 적용한다(식 6).
• 환경 간 위험, 불변성 규제, 엔트로피 기반 병목을 결합한 IB-IRM 및 IB-ERM 목표를 정의한다(정리 4).
• 위험, 불변성 규제, 엔트로피 최소화를 균형 있게 조정하는 실용적 최적화를 제안한다(섹션 6의 식).

실험 결과

연구 질문

• RQ1 불변성이 선형 분류기에 대해 어떤 조건에서 OOD 일반화를 보장하고, 어떤 경우에 실패하는가?
• RQ2 불변 특징과 속임수 특징의 지원 중첩 가정이 ERM/IRM의 OOD 일반화 성능에 어떤 영향을 미치는가?
• RQ3 선형 분류 설정에서 불변성 실패를 정보 병목 제약이 보완할 수 있는가?
• RQ4 완전 정보가 풍부한 것과 부분적으로 정보가 풍부한 불변 특징 전반에서 ERM/IRM이 실패한 곳에서 IB-IRM 및 IB-ERM 전략이 성공하는가?
• RQ5 데이터셋 전반에 걸쳐 불변성과 정보 병목을 통합하여 OOD 일반화를 개선하는 실용적 목표는 무엇인가?

주요 결과

• 불변 특징이 라벨을 완전히 정보를 제공할 때, 강한 중첩 조건이 성립하지 않는 한 불변 예측기만으로는 선형 분류에서 실패할 수 있다.
• 불가능성 결과는 불변 특징 지원 중첩이 없으면 선형 분류에 대해 OOD 일반화가 보장되지 않음을 보여준다.
• 공동 특징 지원 중첩 조건이 충분하면 ERM이 OOD 일반화를 달성하지만, 속임수 특징 중첩이 위반되면 실패는 남아 있다.
• 정보 병목 제약을 불변성과 함께 도입하면 FIIF 설정에서 OOD 일반화를 가능하게 하고, PIIF 하에서 IRM과 결합될 때 강건성을 향상시킨다.
• FIIF 하에서 ERM이 실패하는 곳에서 IB-IRM이 성공하며, 속임수 특징 중첩이 보장되지 않더라도 효과적이다; PIIF 하에서 IB-IRM은 ERM보다 우수할 수 있다.
• 본 논문은 이론적 결과(정리 2–4)를 제공하고 두 원리를 모두 활용하는 실용적 IB-IRM/IB-ERM 프레임워크를 제안하여 OOD 일반화 문제에 대응한다.