Skip to main content
QUICK REVIEW

[論文レビュー] Fishr: Invariant Gradient Variances for Out-of-Distribution Generalization

Alexandre Ramé, Corentin Dancette|arXiv (Cornell University)|Sep 7, 2021
Domain Adaptation and Few-Shot LearningComputer Science被引用数 25
ひとこと要約

Fishrは訓練ドメイン全体でドメインレベルの勾配統計を揃える勾配分散正則化を導入し、DomainBedベンチマークでのOOD一般化を改善します。

ABSTRACT

Learning robust models that generalize well under changes in the data distribution is critical for real-world applications. To this end, there has been a growing surge of interest to learn simultaneously from multiple training domains - while enforcing different types of invariance across those domains. Yet, all existing approaches fail to show systematic benefits under controlled evaluation protocols. In this paper, we introduce a new regularization - named Fishr - that enforces domain invariance in the space of the gradients of the loss: specifically, the domain-level variances of gradients are matched across training domains. Our approach is based on the close relations between the gradient covariance, the Fisher Information and the Hessian of the loss: in particular, we show that Fishr eventually aligns the domain-level loss landscapes locally around the final weights. Extensive experiments demonstrate the effectiveness of Fishr for out-of-distribution generalization. Notably, Fishr improves the state of the art on the DomainBed benchmark and performs consistently better than Empirical Risk Minimization. Our code is available at https://github.com/alexrame/fishr.

研究の動機と目的

  • 訓練ドメイン全体での分布シフトの下で頑健なOOD一般化を動機づける。
  • ドメインレベルの勾配分散を一致させる勾配空間正則化を提案する。
  • 勾配分散を揃えることがドメインレベルのリスクとヘシアンを整合させることを示す。
  • DomainBedおよびColored MNISTでERMや最先端手法より性能向上を示す。

提案手法

  • ネットワーク重みに関する損失の各サンプル勾配 g_e^i を定義する。
  • 各ドメインのサンプルに跨るドメインレベルの勾配分散 v_e = Var(G_e) を計算する。
  • ドメイン分散間の距離を最小化することで正則化する: L_Fishr = (1/ |E|) sum_e ||v_e - v||^2 where v is the mean variance across domains.
  • 計算量を抑えるために、Fishr を分類器の重み ω のみに適用するか、他のサブセットに適用することもできる。
  • 勾配分散をヘシアン対角成分とフィッシャー情報に関連づけて、ドメインレベルのヘシアンを一致させる根拠を正当化する。
  • 正則化のための各サンプル勾配を効率的に計算するために BackPACK を使用する。
Figure 1 : Fishr principle . Fishr considers the individual (per-sample) gradients of the loss in the network weights $\theta$ . Specifically, Fishr matches the domain-level gradient variances of the distributions across the two training domains: $A$ ( $\{{\bm{g}}_{A}^{i}\}_{i=1}^{n_{A}}$ in orange)
Figure 1 : Fishr principle . Fishr considers the individual (per-sample) gradients of the loss in the network weights $\theta$ . Specifically, Fishr matches the domain-level gradient variances of the distributions across the two training domains: $A$ ( $\{{\bm{g}}_{A}^{i}\}_{i=1}^{n_{A}}$ in orange)

実験結果

リサーチクエスチョン

  • RQ1訓練ドメイン間でドメインレベルの勾配分散を一致させることは、OOD一般化を改善するか。
  • RQ2Fishr はドメインレベルのリスクとヘシアンにも整合性を持たせ、ドメイン間の損失地形の不整合を減らすか。
  • RQ3勾配分散の一致は、従来の勾配平均や特徴ベースの不変性手法より効果的またはスケーラブルか。
  • RQ4Colored MNIST や DomainBed のような合成データと実データのベンチマークにおける Fishr の性能は、ERM や IRM と比べてどうか。

主な発見

  • Fishr は DomainBed ベンチマークで ERM およびいくつかのベースラインと比較して OOD 一般化を改善する。
  • ドメインレベルの勾配分散を一致させると、収束時にドメインレベルのリスクとヘシアンが整合する。
  • 勾配分散はヘシアン対角成分の代理指標として機能し、効率的な正則化を可能にする。
  • すべての重みに適用した場合または分類器の重みに選択的に適用した場合、Colored MNIST で最良のトレードオフを達成する。
  • 実データセット(PACS, VLCS, OfficeHome, TerraIncognita, DomainNet)で、Fishr は一貫して ERM を上回る実証結果を示す。
Figure 2 : Loss landscapes around inconsistent weights $\theta^{*}$ at convergence. $N_{A,\theta^{*}}^{0.2}$ contains weights $\theta$ for which $\mathcal{R}_{A}(\theta)$ is low ( $\leq 0.2$ ) but $\mathcal{R}_{B}(\theta)$ is high ( $\geq 0.9$ ). This inconsistency is due to conflicting domain-level
Figure 2 : Loss landscapes around inconsistent weights $\theta^{*}$ at convergence. $N_{A,\theta^{*}}^{0.2}$ contains weights $\theta$ for which $\mathcal{R}_{A}(\theta)$ is low ( $\leq 0.2$ ) but $\mathcal{R}_{B}(\theta)$ is high ( $\geq 0.9$ ). This inconsistency is due to conflicting domain-level

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。