[논문 리뷰] The Clever Hans Mirage: A Comprehensive Survey on Spurious Correlations in Machine Learning

Wenqian Ye, Jiang, Luyang외 17명|arXiv (Cornell University)|2024. 02. 20.

Neural Networks and Applications인용 수 12

한 줄 요약

이 설문조사는 ML에서 부적절한 상관관계를 형식적으로 정의하고, 이를 완화하기 위한 분류 체계와 방법을 조사하며, 데이터셋, 지표, 그리고 향후 도전과제를 논의한다.

ABSTRACT

Back in the early 20th century, a horse named Hans appeared to perform arithmetic and other intellectual tasks during exhibitions in Germany, while it actually relied solely on involuntary cues in the body language from the human trainer. Modern machine learning models are no different. These models are known to be sensitive to spurious correlations between non-essential features of the inputs (e.g., background, texture, and secondary objects) and the corresponding labels. Such features and their correlations with the labels are known as "spurious" because they tend to change with shifts in real-world data distributions, which can negatively impact the model's generalization and robustness. In this paper, we provide a comprehensive survey of this emerging issue, along with a fine-grained taxonomy of existing state-of-the-art methods for addressing spurious correlations in machine learning models. Additionally, we summarize existing datasets, benchmarks, and metrics to facilitate future research. The paper concludes with a discussion of the broader impacts, the recent advancements, and future challenges in the era of generative AI, aiming to provide valuable insights for researchers in the related domains of the machine learning community.

연구 동기 및 목표

• ML에서 부적절한 상관관계의 형식적 정의를 제공한다.
• 최첨단 완화 방법의 포괄적 분류체계를 제시한다.
• 부적절한 상관관계에 대한 데이터셋, 벤치마크, 평가 지표를 요약한다.
• 도전과제, 향후 방향, 그리고 이 영역에서 기초모델의 역할을 논의한다.

제안 방법

• 그룹 라벨 ;(y,a); 및 그룹 집합 ;;G; = Y \u001amp; A 의 형식적 정의를 도입한다.
• 데이터 조작, 표현 학습, 학습 전략, 및 기타 방법으로 완화 방법을 분류한다.
• 데이터 증강, 컨셉/가짜 레이블 발견, 인과적 개입, 불변 학습, 특징 분리, 및 대조 학습을 조사한다.
• 최적화 기반 방법, 앙상블 학습, 식별-후-완화, 파인튜닝 전략, 및 적대적 학습을 논의한다.
• 데이터셋과 지표의 개요를 제공하되 최악의 그룹 정확도를 강건성 측정으로 강조한다.

Figure 2 : Hospital tags, strips, and medical devices exemplify several unknown group labels in the MIMIC-CXR dataset, which might spuriously correlate with the ground truth diagnosis results.

실험 결과

연구 질문

• RQ1 ML에서 부적절한 상관관계의 형식적 정의는 무엇이며 이것을 어떻게 탐지하고 특성화할 수 있는가?
• RQ2 데이터 조작, 표현 학습, 학습 전략 전반에 걸쳐 부적절한 상관관계를 완화하기 위한 현재 방법을 어떤 분류 체계가 가장 잘 조직하는가?
• RQ3 부적절한 상관관계에 대한 강건성을 평가하는 데 사용되는 데이터셋과 지표는 무엇이며, 그들의 트레이드오프는 무엇인가?
• RQ4 그룹 레이블 의존성과 기초 모델 포함 향후 방향 및 과제은 무엇인가?

주요 결과

• 부적절한 상관관계의 형식적 정의가 제공되며, 부적절한 속성에서 그룹으로의 매핑이 포함된다.
• 데이터 조작, 표현 학습, 학습 전략 및 기타 방법에 걸친 완화 접근법의 포괄적 분류체계가 제안된다.
• 설문은 최악의 그룹 성능 및 관련 지표를 평가하는 데 사용되는 일반적인 데이터셋과 지표를 요약한다.
• 최악의 그룹 정확도와 평균 정확도 간의 트레이드오프를 논의하고 그룹 라벨 의존성 및 확장성 같은 도전을 부각한다.
• 기초 논의는 부적절한 상관관계를 도메인 일반화, 불변 학습, 그룹 강건성, 그리고 지름길 학습과 연결한다.