Skip to main content
QUICK REVIEW

[논문 리뷰] Fishr: Invariant Gradient Variances for Out-of-Distribution Generalization

Alexandre Ramé, Corentin Dancette|arXiv (Cornell University)|2021. 09. 07.
Domain Adaptation and Few-Shot LearningComputer Science인용 수 25
한 줄 요약

Fishr는 학습 도메인 간 도메인 수준의 그래디언트 통계를 맞추기 위해 그래디언트-분산 정규화를 도입하여 DomainBed 벤치마크에서 OOD 일반화를 향상시킨다.

ABSTRACT

Learning robust models that generalize well under changes in the data distribution is critical for real-world applications. To this end, there has been a growing surge of interest to learn simultaneously from multiple training domains - while enforcing different types of invariance across those domains. Yet, all existing approaches fail to show systematic benefits under controlled evaluation protocols. In this paper, we introduce a new regularization - named Fishr - that enforces domain invariance in the space of the gradients of the loss: specifically, the domain-level variances of gradients are matched across training domains. Our approach is based on the close relations between the gradient covariance, the Fisher Information and the Hessian of the loss: in particular, we show that Fishr eventually aligns the domain-level loss landscapes locally around the final weights. Extensive experiments demonstrate the effectiveness of Fishr for out-of-distribution generalization. Notably, Fishr improves the state of the art on the DomainBed benchmark and performs consistently better than Empirical Risk Minimization. Our code is available at https://github.com/alexrame/fishr.

연구 동기 및 목표

  • 훈련 도메인 간의 분포 변화 하에서 강력한 OOD 일반화를 유도한다.
  • 도메인 수준의 분산과 일치하는 gradient-space 정규화를 제안한다.
  • 그래디언트 분산을 정렬하는 것이 도메인 수준의 리스크와 해시안을 정렬한다는 것을 보여준다.
  • DomainBed와 Colored MNIST에서 ERM 및 최신 방법들에 비해 성능이 향상됨을 보여준다.

제안 방법

  • 네트워크 가중치에 대한 손실의 per-sample 그래디언트 g_e^i를 정의한다.
  • 각 도메인 내 샘플들에 대해 도메인 수준 그래디언트 분산 v_e = Var(G_e)를 계산한다.
  • 도메인 분산 간의 거리를 최소화하여 정규화한다: L_Fishr = (1/|E|) sum_e ||v_e - v||^2 이때 v는 도메인 간 평균 분산이다.
  • 계산량을 줄이기 위해 Fishr를 분류기 가중치 ω(또는 다른 부분 집합)에만 적용하는 것을 선택적으로 수행한다.
  • 도메인 수준의 해시안 대각선과 피셔 정보(Fisher Information) 간의 관계를 통해 도메인 수준의 해시안을 일치시키는 것을 정당화한다.
  • 정규화를 위해 per-sample 그래디언트를 효율적으로 계산하기 위해 BackPACK을 사용한다.
Figure 1 : Fishr principle . Fishr considers the individual (per-sample) gradients of the loss in the network weights $\theta$ . Specifically, Fishr matches the domain-level gradient variances of the distributions across the two training domains: $A$ ( $\{{\bm{g}}_{A}^{i}\}_{i=1}^{n_{A}}$ in orange)
Figure 1 : Fishr principle . Fishr considers the individual (per-sample) gradients of the loss in the network weights $\theta$ . Specifically, Fishr matches the domain-level gradient variances of the distributions across the two training domains: $A$ ( $\{{\bm{g}}_{A}^{i}\}_{i=1}^{n_{A}}$ in orange)

실험 결과

연구 질문

  • RQ1도메인 간 도메인 수준의 그래디언트 분산을 일치시키는 것이 OOD 일반화를 향상시킬 수 있는가?
  • RQ2Fishr가 또한 도메인 수준의 리스크와 해시안을 정렬하여 도메인 간 손실-지형 불일치를 감소시키는가?
  • RQ3그래디언트-분산 일치가 이전의 그래디언트-평균 또는 특징 기반 불변성 방법보다 효과적이거나 확장 가능한가?
  • RQ4Fishr가 ERM 및 IRM과 비교하여 Colored MNIST 및 DomainBed 같은 합성 및 실제 도메인 벤치마크에서 어떤 성능을 보이는가?

주요 결과

  • Fishr은 DomainBed 벤치마크에서 ERM 및 여러 기준선 대비 OOD 일반화를 향상시킨다.
  • 도메인 수준의 그래디언트 분산을 일치시키면 수렴 시 도메인 수준의 리스크와 해시안이 정렬된다.
  • 그래디언트 분산은 해시안 대각선의 대리지표로 작용하여 효율적인 정규화를 가능하게 한다.
  • 모든 가중치에 적용하거나 분류기 가중치에 선택적으로 적용할 때 Colored MNIST에서 최적의 타협을 달성한다.
  • 실험 결과 Fishr은 여러 실제 데이터셋(PACS, VLCS, OfficeHome, TerraIncognita, DomainNet)에서 일관되게 ERM보다 우수하게 나타난다.
Figure 2 : Loss landscapes around inconsistent weights $\theta^{*}$ at convergence. $N_{A,\theta^{*}}^{0.2}$ contains weights $\theta$ for which $\mathcal{R}_{A}(\theta)$ is low ( $\leq 0.2$ ) but $\mathcal{R}_{B}(\theta)$ is high ( $\geq 0.9$ ). This inconsistency is due to conflicting domain-level
Figure 2 : Loss landscapes around inconsistent weights $\theta^{*}$ at convergence. $N_{A,\theta^{*}}^{0.2}$ contains weights $\theta$ for which $\mathcal{R}_{A}(\theta)$ is low ( $\leq 0.2$ ) but $\mathcal{R}_{B}(\theta)$ is high ( $\geq 0.9$ ). This inconsistency is due to conflicting domain-level

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.