[論文レビュー] On Feature Learning in the Presence of Spurious Correlations

Pavel Izmailov, Polina Kirichenko+2 more|arXiv (Cornell University)|Oct 20, 2022

Industrial Vision Systems and Defect Detection被引用数 23

ひとこと要約

この論文は、標準的なERMで学習した特徴が、最終層のみを再学習するだけのDFR（Deep Feature Reweighting）後に、最悪グループの性能を十分に高めることが多く、グループロバストネス手法による改善は、コア特徴表現の向上というより、最終層の再重み付けによる効果が大きいことを示している。

ABSTRACT

Deep classifiers are known to rely on spurious features $\unicode{x2013}$ patterns which are correlated with the target on the training data but not inherently relevant to the learning problem, such as the image backgrounds when classifying the foregrounds. In this paper we evaluate the amount of information about the core (non-spurious) features that can be decoded from the representations learned by standard empirical risk minimization (ERM) and specialized group robustness training. Following recent work on Deep Feature Reweighting (DFR), we evaluate the feature representations by re-training the last layer of the model on a held-out set where the spurious correlation is broken. On multiple vision and NLP problems, we show that the features learned by simple ERM are highly competitive with the features learned by specialized group robustness methods targeted at reducing the effect of spurious correlations. Moreover, we show that the quality of learned feature representations is greatly affected by the design decisions beyond the training method, such as the model architecture and pre-training strategy. On the other hand, we find that strong regularization is not necessary for learning high quality feature representations. Finally, using insights from our analysis, we significantly improve upon the best results reported in the literature on the popular Waterbirds, CelebA hair color prediction and WILDS-FMOW problems, achieving 97%, 92% and 50% worst-group accuracies, respectively.

研究の動機と目的

• 偽相関の下で学習された表現から、コア（非偽相関）情報がどれだけデコード可能かを調べる。
• 最終層再学習（DFR）が、ERMとグループロバストネス手法間の性能ギャップを埋めるかを評価する。
• アーキテクチャ、事前学習戦略、正則化が、偽相関の存在下での特徴学習にどのように影響するかを明らかにする。
• グループDROや関連手法の改善が、特徴表現の向上によるものか、それとも特徴の再重み付けによるものかを評価する。

提案手法

• 偽相関が壊れた保留セットで最後の層のみ再学習してコア特徴のデコード可能性を評価するために、DFRをERM特徴に適用する。
• ERM、再重み付け（RWG/RWY）、およびグループDROを、複数の視覚・NLPタスクで比較する。
• アーキテクチャ、事前学習、正則化が学習特徴の質に与える影響を分析する。
• 最悪グループ精度（WGA）とDFR WGAを測定して、ベースモデルの性能と特徴品質を区別する。
• 偽相関対比とコア特徴のデコード可能性を、s-DFR（偽相関属性を予測する）を補完的評価として評価する。

実験結果

リサーチクエスチョン

• RQ1 偽相関の下で学習された表現から、コア（非偽相関）特徴はどれだけデコード可能か？
• RQ2 グループロバストネス手法は特徴表現を改善するのか、それとも最終層の特徴を再重み付けして最悪グループの性能を高めているのか？
• RQ3 アーキテクチャ、事前学習、正則化は偽相関の下での学習特徴の品質にどう影響するのか？
• RQ4 DFRによる最終層再学習は、全モデル再学習なしで偽相関ベンチマーク問題で最先端の性能を回復できるか？

主な発見

• DFRをERM特徴に適用すると、いくつかのベンチマークでグループロバストネス手法と競合する、あるいはほぼ同等の最悪グループ性能を達成する。
• グループDROおよび関連手法の改善は、主に最終線形層の重み付けが向上することによるもので、コア特徴そのものの向上によるものではない。
• より強い分布内精度（平均精度）は、アーキテクチャと事前学習 regime に関係なく、DFR適用後の最悪グループ性能と一般的に相関する。
• 事前学習戦略は特徴の品質に著しく影響する。強い正則化のみでは、一貫して表現を改善しない。
• ターゲットデータ上でのファインチューニングは強い事前学習がある場合、限定的な利益しかもたらさないことが多く、ImageNet22k-pretrained ConvNextのような大規模事前学習はターゲット領域のファインチューニングなしでも高いDFR WGAを達成し得る（例：Waterbirds）。
• Waterbirds、CelebA、WILDS-FMOWでは、強力な事前学習モデルを用いたDFRが新たな高WGAを達成している（例：Waterbirds 97.2%、CelebA 92.2%）。