[論文レビュー] Out-of-distribution Generalization in the Presence of Nuisance-Induced Spurious Correlations

Aahlad Puli, Lily H. Zhang+2 more|arXiv (Cornell University)|Jun 29, 2021

COVID-19 diagnosis using AI被引用数 5

ひとこと要約

本稿では、余分な要因に起因する誤った相関関係に頑健な表現を学習することで、分布外一般化を向上させるための Nuisance-Randomized Distillation (NuRD) を提案する。NuRD はまず、余分な要因とラベルの依存関係をランダム化して余分な要因ランダム化分布を生成し、次にこの分布下でラベル情報の最大化を図る表現を distillation する。これにより、余分な要因とラベルの関係が変化しても一貫した性能を発揮するよう保証され、レントゲン画像を用いた肺炎分類およびウォーターバード認識タスクで顕著な実験的効果を示した。

ABSTRACT

In many prediction problems, spurious correlations are induced by a changing relationship between the label and a nuisance variable that is also correlated with the covariates. For example, in classifying animals in natural images, the background, which is a nuisance, can predict the type of animal. This nuisance-label relationship does not always hold, and the performance of a model trained under one such relationship may be poor on data with a different nuisance-label relationship. To build predictive models that perform well regardless of the nuisance-label relationship, we develop Nuisance-Randomized Distillation (NURD). We introduce the nuisance-randomized distribution, a distribution where the nuisance and the label are independent. Under this distribution, we define the set of representations such that conditioning on any member, the nuisance and the label remain independent. We prove that the representations in this set always perform better than chance, while representations outside of this set may not. NURD finds a representation from this set that is most informative of the label under the nuisance-randomized distribution, and we prove that this representation achieves the highest performance regardless of the nuisance-label relationship. We evaluate NURD on several tasks including chest X-ray classification where, using non-lung patches as the nuisance, NURD produces models that predict pneumonia under strong spurious correlations.

研究の動機と目的

• 余分な要因に起因する誤った相関関係が分布間で変化することで生じる分布外一般化の劣化を是正すること。
• テスト分布における余分な要因とラベルの相関関係がどのように変化しても、予測モデルが高い性能を維持できることを保証する手法を開発すること。
• 余分な要因とラベルが独立となる分布（余分な要因ランダム化分布）を形式化し、この分布下で変化する余分な要因とラベルの依存関係に頑健な表現を特定可能とすること。
• ラベルと余分な要因が条件付き独立となる表現の集合（uncorrelating set）において、常に周辺予測より高い性能を示すことを証明し、最適な表現を同定すること。
• 強い誤った相関関係を有する画像分類タスク（チアックX線画像による肺炎分類およびウォーターバード対ランドバード分類）において、NuRD の実験的妥当性を検証すること。

提案手法

• 余分な要因とラベルが統計的に独立となるように、余分な要因ランダム化分布を導入し、誤った依存関係を分離する。
• 余分な要因ランダム化分布下で、ラベルと余分な要因が条件付き独立となる表現の集合を「uncorrelating set」と定義する。
• 2段階の手法として NuRD を提案する：1段階目は、生成モデルや再重み付けを用いて余分な要因とラベルを独立にしたデータを生成する余分な要因ランダム化；2段階目は、ラベルとの相互情報量を最大化する表現を、uncorrelating set 内で特定する distillation を実行する。
• 表現、余分な要因、ラベルの同時依存性を罰する正則化された訓練目的関数を用い、ハイパーパrameter λ を用いて情報量の増加と独立性の強化のバランスを調整する。
• 余分な要因の逆確率を推定することで、再重み付けベースの余分な要因ランダム化を実装し、余分な要因ランダム化分布を近似する。
• 学生モデルを訓練し、唯一、抽出された表現を用いてラベルを予測させることで、余分な要因とラベルの関係が変化する分布族全体にわたって一般化性能が保証されるようにする。

実験結果

リサーチクエスチョン

• RQ1 余分な要因の変動が生じる分布族全体にわたって、性能が安定する表現を構築することは可能か？
• RQ2 余分な要因ランダム化分布下で表現を学習することは、標準的な経験的リスク最小化（ERM）よりも分布外性能を向上させる保証があるか？
• RQ3 余分な要因ランダム化分布下で、条件付き独立（表現の下でラベルと余分な要因が独立）かつラベルの情報を最大限に保持する表現を同定できるか？
• RQ4 医療画像や動物分類のような強い余分な要因に起因する誤った相関関係が存在する設定において、NuRD は標準的な ERM より優れているか？
• RQ5 最適化が安定し、頑健な性能を発揮するためのハイパーパrameter（例：λ）の設定は何か？

主な発見

• ウォーターバード分類タスクにおいて、56ピクセルの境界を余分な要因として用いた場合、NuRD は 81% のテスト精度を達成したのに対し、ERM は 66% にとどまり、顕著な優位性を示した。
• 胸部X線画像を用いた肺炎分類では、病院ごとの撮影プロトコルに起因する強い誤った相関関係に対しても、NuRD は高い性能を維持した。
• 訓練分布からの発散が増加する分布（ρ = 0.5, 0.7, 0.9）でテストしたところ、NuRD は安定した性能を示したが、ERM の精度は余分な要因とラベルの関係が変化するにつれて急激に低下した。
• λ = 5（デフォルトの λ = 1 よりも高い）とした場合、ウォーターバードタスクで平均 76% のテスト精度、クラス条件付きガウス分布では 61% を達成したが、一部の実験で最適化の不安定性により失敗が発生し、λ のチューニングに敏感であることが示された。
• 余分な要因に起因する誤った相関関係がない（余分な要因が一定）設定では、NuRD と ERM はほぼ同等の性能（88% 対 89%）を示し、誤った相関関係が存在しない場合に NuRD が性能を低下させないことを検証した。
• 最適化が安定している場合に限り、distillation 損失と検証性能が周辺予測から離れることが確認された。これは、正則化の強度とモデル性能との間でトレードオフが存在することを示唆している。