[논문 리뷰] On the Limitations of Dataset Balancing: The Lost Battle Against Spurious Correlations

Roy Schwartz, Gabriel Stanovsky|arXiv (Cornell University)|2022. 04. 27.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 데이터셋 균형 조정이 비록 일부 유사 상관관계를 줄이는 데 도움이 되지만, 모델이 점점 더 강력해질수록 NLP에서 모든 유사 상관관계를 제거하는 데 근본적으로 부족하다고 주장한다. 모델의 성능 향상을 위해 대규모 미세조정에서 벗어나 제로-또는 소수의 샘플 학습, 더 풍부한 맥락 모델링, 불확실성 시 모델이 답변을 회피하는 방식으로 전환할 것을 제안함으로써 세계 지식과 일반 지식을 더 잘 다룰 수 있도록 하되, 유용한 신호를 손상시키지 않도록 한다.

ABSTRACT

Recent work has shown that deep learning models in NLP are highly sensitive to low-level correlations between simple features and specific output labels, leading to overfitting and lack of generalization. To mitigate this problem, a common practice is to balance datasets by adding new instances or by filtering out "easy" instances (Sakaguchi et al., 2020), culminating in a recent proposal to eliminate single-word correlations altogether (Gardner et al., 2021). In this opinion paper, we identify that despite these efforts, increasingly-powerful models keep exploiting ever-smaller spurious correlations, and as a result even balancing all single-word features is insufficient for mitigating all of these correlations. In parallel, a truly balanced dataset may be bound to "throw the baby out with the bathwater" and miss important signal encoding common sense and world knowledge. We highlight several alternatives to dataset balancing, focusing on enhancing datasets with richer contexts, allowing models to abstain and interact with users, and turning from large-scale fine-tuning to zero- or few-shot setups.

연구 동기 및 목표

• 데이터셋 균형 조정이 NLP에서 유사 상관관계를 효과적으로 제거한다는 가정을 도전하기 위해.
• 단일 단어 특징 균형 조정입니다라도 고차원 특징 상호작용 때문에 모든 유사 상관관계를 제거하지 못함을 입증하기 위해.
• 데이터셋을 과도하게 균형 조정하면 필수적인 세계 지식과 일반 지식이 손실되어 모델의 강건성에 악영향을 줄 수 있음을 주장하기 위해.
• 더 풍부한 맥락 주입, 모델의 회피 전략, 제로-또는 소수의 샘플 학습과 같은 대안을 주장하여 일반화 능력을 향상시키기 위해.
• 대규모 미세조정이 NLP 분야의 주요 패러다임으로서 지속 가능하고 바람직한가를 의심하기 위해.

제안 방법

• 모든 단일 단어 상관관계를 유사 상관관계로 간주하는 이전 연구를 확장하여 데이터셋 균형 조정의 한계를 분석함.
• 유사 상관관계가 단지 단어 수준의 상관관계가 아니라 특징의 조합에서 유래하므로, 개별 특징의 균형 조정만으로는 부족하다는 것을 입증함.
• 세계 지식과 일반 지식을 포함한 더 풍부한 맥락 정보를 데이터셋에 통합하여 표면적인 신호에 의존하는 것을 줄임.
• 맥락이 부족할 경우 유사 상관관계에 의존하는 대신, 답변을 회피할 수 있는 모델 설계를 주장함.
• 대규모 미세조정에서 제로-또는 소수의 샘플 학습으로의 전환을 권장하여 데이터셋 아티팩트에 대한 과적합을 줄임.
• 소규모 테스트 세트에 의존하기보다는, 통계적 검정력과 모델 일반화 능력을 더 잘 평가하기 위해 대규모 테스트 세트를 구축할 것을 권장함.

실험 결과

연구 질문

• RQ1 모델이 점점 더 강력해질수록 데이터셋 균형 조정이 NLP에서 모든 유사 상관관계를 효과적으로 제거할 수 있는가?
• RQ2 특히 의미 있는 세계 지식을 손실시키는 측면에서, 데이터셋을 과도하게 균형 조정하는 데 따른 부작용은 무엇인가?
• RQ3 왜 단일 단어 특징 균형 조정만으로는 특징 조합에서 발생하는 유사 상관관계를 해결하는 데 부족한가?
• RQ4 맥락이 모호할 경우 모델이 불확실성을 다루고 유사 상관관계에 의존하지 않도록 설계하는 방법은 무엇인가?
• RQ5 대규모 미세조정이 NLP 모델 훈련의 최적의 패러다임인가, 아니면 분야가 제로-또는 소수의 샘플 학습으로 전환해야 하는가?

주요 결과

• 고차원 특징 상호작용이 존재하므로 단일 단어 특징 균형 조정만으로는 모든 유사 상관관계를 제거할 수 없으며, 모델이 여전히 이를 악용할 수 있음.
• 과도하게 균형 조정된 데이터셋은 의미 있는 신호, 즉 일반 지식과 세계 지식까지도 제거할 위험이 있어 강건한 추론에 악영향을 줄 수 있음.
• 매우 균형 잡힌 데이터셋으로 훈련된 모델은 '조지 부시는 미국의 대통령이다'와 같은 세계 지식 사실에 대한 백업 답변을 배우지 못할 수 있음.
• 데이터셋 균형 조정은 사회적 편향을 완화하는 데도 만능이 아니며, 특히 유사 상관관계의 복잡성 때문에 이 목적에도 부적합할 수 있음.
• 모델 규모와 데이터셋 정제 간의 현재의 경쟁은 지속 가능하지도 않고 오히려 역효과를 낳고 있으며, 모델이 점점 더 미묘한 상관관계를 악용하고 있음.
• 제로-또는 소수의 샘플 학습과 더 풍부한 맥락 모델링으로의 전환은 모델 일반화 및 강건성 향상에 더 지속 가능하고 효과적인 길임.