[논문 리뷰] Fishr: Invariant Gradient Variances for Out-of-Distribution Generalization
Fishr는 학습 도메인 간 도메인 수준의 그래디언트 통계를 맞추기 위해 그래디언트-분산 정규화를 도입하여 DomainBed 벤치마크에서 OOD 일반화를 향상시킨다.
Learning robust models that generalize well under changes in the data distribution is critical for real-world applications. To this end, there has been a growing surge of interest to learn simultaneously from multiple training domains - while enforcing different types of invariance across those domains. Yet, all existing approaches fail to show systematic benefits under controlled evaluation protocols. In this paper, we introduce a new regularization - named Fishr - that enforces domain invariance in the space of the gradients of the loss: specifically, the domain-level variances of gradients are matched across training domains. Our approach is based on the close relations between the gradient covariance, the Fisher Information and the Hessian of the loss: in particular, we show that Fishr eventually aligns the domain-level loss landscapes locally around the final weights. Extensive experiments demonstrate the effectiveness of Fishr for out-of-distribution generalization. Notably, Fishr improves the state of the art on the DomainBed benchmark and performs consistently better than Empirical Risk Minimization. Our code is available at https://github.com/alexrame/fishr.
연구 동기 및 목표
- 훈련 도메인 간의 분포 변화 하에서 강력한 OOD 일반화를 유도한다.
- 도메인 수준의 분산과 일치하는 gradient-space 정규화를 제안한다.
- 그래디언트 분산을 정렬하는 것이 도메인 수준의 리스크와 해시안을 정렬한다는 것을 보여준다.
- DomainBed와 Colored MNIST에서 ERM 및 최신 방법들에 비해 성능이 향상됨을 보여준다.
제안 방법
- 네트워크 가중치에 대한 손실의 per-sample 그래디언트 g_e^i를 정의한다.
- 각 도메인 내 샘플들에 대해 도메인 수준 그래디언트 분산 v_e = Var(G_e)를 계산한다.
- 도메인 분산 간의 거리를 최소화하여 정규화한다: L_Fishr = (1/|E|) sum_e ||v_e - v||^2 이때 v는 도메인 간 평균 분산이다.
- 계산량을 줄이기 위해 Fishr를 분류기 가중치 ω(또는 다른 부분 집합)에만 적용하는 것을 선택적으로 수행한다.
- 도메인 수준의 해시안 대각선과 피셔 정보(Fisher Information) 간의 관계를 통해 도메인 수준의 해시안을 일치시키는 것을 정당화한다.
- 정규화를 위해 per-sample 그래디언트를 효율적으로 계산하기 위해 BackPACK을 사용한다.

실험 결과
연구 질문
- RQ1도메인 간 도메인 수준의 그래디언트 분산을 일치시키는 것이 OOD 일반화를 향상시킬 수 있는가?
- RQ2Fishr가 또한 도메인 수준의 리스크와 해시안을 정렬하여 도메인 간 손실-지형 불일치를 감소시키는가?
- RQ3그래디언트-분산 일치가 이전의 그래디언트-평균 또는 특징 기반 불변성 방법보다 효과적이거나 확장 가능한가?
- RQ4Fishr가 ERM 및 IRM과 비교하여 Colored MNIST 및 DomainBed 같은 합성 및 실제 도메인 벤치마크에서 어떤 성능을 보이는가?
주요 결과
- Fishr은 DomainBed 벤치마크에서 ERM 및 여러 기준선 대비 OOD 일반화를 향상시킨다.
- 도메인 수준의 그래디언트 분산을 일치시키면 수렴 시 도메인 수준의 리스크와 해시안이 정렬된다.
- 그래디언트 분산은 해시안 대각선의 대리지표로 작용하여 효율적인 정규화를 가능하게 한다.
- 모든 가중치에 적용하거나 분류기 가중치에 선택적으로 적용할 때 Colored MNIST에서 최적의 타협을 달성한다.
- 실험 결과 Fishr은 여러 실제 데이터셋(PACS, VLCS, OfficeHome, TerraIncognita, DomainNet)에서 일관되게 ERM보다 우수하게 나타난다.

이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.