[논문 리뷰] On Feature Learning in the Presence of Spurious Correlations

Pavel Izmailov, Polina Kirichenko외 2명|arXiv (Cornell University)|2022. 10. 20.

Industrial Vision Systems and Defect Detection인용 수 23

한 줄 요약

이 논문은 표준 ERM으로 학습된 특징이 마지막 층만 재학습하는 것(DFR) 이후에 강력한 Worst-Group 성능에 종종 충분하다는 것을 보여주고, 그룹 로버스트니스 방법의 개선은core 특징 표현을 더 잘 만드는 것보다는 마지막 층 가중치를 더 잘 조정함으로써 크게 기인한다.

ABSTRACT

Deep classifiers are known to rely on spurious features $\unicode{x2013}$ patterns which are correlated with the target on the training data but not inherently relevant to the learning problem, such as the image backgrounds when classifying the foregrounds. In this paper we evaluate the amount of information about the core (non-spurious) features that can be decoded from the representations learned by standard empirical risk minimization (ERM) and specialized group robustness training. Following recent work on Deep Feature Reweighting (DFR), we evaluate the feature representations by re-training the last layer of the model on a held-out set where the spurious correlation is broken. On multiple vision and NLP problems, we show that the features learned by simple ERM are highly competitive with the features learned by specialized group robustness methods targeted at reducing the effect of spurious correlations. Moreover, we show that the quality of learned feature representations is greatly affected by the design decisions beyond the training method, such as the model architecture and pre-training strategy. On the other hand, we find that strong regularization is not necessary for learning high quality feature representations. Finally, using insights from our analysis, we significantly improve upon the best results reported in the literature on the popular Waterbirds, CelebA hair color prediction and WILDS-FMOW problems, achieving 97%, 92% and 50% worst-group accuracies, respectively.

연구 동기 및 목표

• 오염된 상관관계 하에서 학습된 표현으로부터 비(스퓨리어스) 핵심 정보가 얼마나 해독 가능한지 조사한다.
• 마지막 층 재학습(DFR)이 ERM과 그룹 로버스트니스 방법 간의 성능 격차를 해소하는지 평가한다.
• 오염된 상관관계가 존재하는 상황에서 모델 아키텍처, 사전학습 전략, 정규화가 특징 학습에 어떤 영향을 미치는지 결정한다.
• 그룹 DRO 및 관련 방법의 개선이 더 나은 특징 표현 때문인지, 아니면 특징의 재가중 때문인지를 평가한다.

제안 방법

• Deep Feature Reweighting (DFR)을 사용하여 마지막 층만 재학습하고 spurious correlations이 깨진 보류된 데이터에서 핵심 특징의 디코딩 가능성을 평가한다.
• 다수의 비전 및 NLP 작업에서 ERM, 재가중(RWG/RWY), 그리고 그룹 DRO를 비교한다.
• 학습된 특징의 품질에 대한 아키텍처, 사전학습, 정규화의 영향을 분석한다.
• 최악그룹 정확도(WGA)와 DFR WGA를 측정하여 기본 모델 성능과 특징 품질을 구분한다.
• s-DFR(스퓨리어스 속성 예측)을 통한 오염 특성과 코어 특징의 디코딩 가능성을 보완 평가로 평가한다.

실험 결과

연구 질문

• RQ1 오염된 상관관계 하에서 학습된 표현으로부터 핵심(비-스퓨리어스) 특징이 얼마나 해독 가능한가?
• RQ2 그룹 로버스트니스 방법이 특징 표현을 개선하는지, 아니면 주로 마지막 층 특징의 가중치를 조정해 최악의 그룹 성능을 높이는지?
• RQ3 아키텍처, 사전학습, 정규화가 오염된 상관관계 하에서 학습된 특징의 품질에 어떤 영향을 미치는가?
• RQ4 전체 모델 재학습 없이 마지막 층 재학습(DFR)이 스퓨리어스 벤치마크 문제에서 최첨단 성능을 회복할 수 있는가?

주요 결과

• DFR 적용된 ERM 특징은 여러 벤치마크에서 그룹 로버스트니스 방법과 경쟁력 있거나 거의 동일한 최악의 그룹 성능을 보인다.
• 그룹 DRO 및 관련 방법의 개선은 주로 마지막 선형 층의 가중치를 더 잘 부여하는 데 기인하며, 더 우수한 핵심 특징을 학습하는 데서 기인하지 않는다.
• 강한 분포 내 정확도(평균)가 일반적으로 DFR 적용 후 최악의 그룹 성능과 더 잘 연관되며, 아키텍처와 사전학습 체계에 걸쳐 일관된다.
• 사전학습 전략은 특징 품질에 크게 영향을 미치며, 강한 정규화만으로는 일관되게 표현을 개선하지 않는다.
• 강력한 사전학습이 사용될 때 타깃 데이터에 대한 파인튜닝은 제한된 이득을 제공하며, 대규모 사전학습은 타깃 도메인 파인튜닝 없이도 높은 DFR WGA를 달성할 수 있다(예: Waterbirds의 ImageNet22k-사전학습 ConvNext).
• Waterbirds, CelebA, 및 WILDS-FMOW에서 강력한 사전학습 모델과 함께한 DFR이 새로운 높은 WGA 점수를 달성한다(예: Waterbirds 97.2%, CelebA 92.2%).