[논문 리뷰] Are All Spurious Features in Natural Language Alike? An Analysis through a Causal Lens

Nitish Joshi, Xiang Pan외 1명|arXiv (Cornell University)|2022. 10. 25.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 확률적 필요성(PN)과 확률적 충분성(PS)을 사용하는 인과적 프레임워크를 제안하여 NLP에서 두 가지 유형의 허위 특징을 구분한다: 관련 없는 특징(낮은 PN, 낮은 PS)과 필수 특징(높은 PN, 낮은 PS). 기존의 편향 제거 방법이 필수 허위 특징에서는 실패함을 보여주며, 이는 이러한 특징들이 예측에 본질적으로 필요하기 때문에 제거하면 성능 저하가 발생하기 때문이다. 따라서 이러한 특징들을 위한 맞춤형 평가 및 훈련 접근법이 필요하다고 주장한다.

ABSTRACT

The term `spurious correlations' has been used in NLP to informally denote any undesirable feature-label correlations. However, a correlation can be undesirable because (i) the feature is irrelevant to the label (e.g. punctuation in a review), or (ii) the feature's effect on the label depends on the context (e.g. negation words in a review), which is ubiquitous in language tasks. In case (i), we want the model to be invariant to the feature, which is neither necessary nor sufficient for prediction. But in case (ii), even an ideal model (e.g. humans) must rely on the feature, since it is necessary (but not sufficient) for prediction. Therefore, a more fine-grained treatment of spurious features is needed to specify the desired model behavior. We formalize this distinction using a causal model and probabilities of necessity and sufficiency, which delineates the causal relations between a feature and a label. We then show that this distinction helps explain results of existing debiasing methods on different spurious features, and demystifies surprising results such as the encoding of spurious features in model representations after debiasing.

연구 동기 및 목표

• NLP에서 허위 특징의 종류에 대한 세분화된 구분이 부족한 데 대비하여, 특히 예측에 필수적인 특징들에 대해 다루는 것.
• 인과 개념을 사용하여 관련 없는 허위 특징(낮은 PN, 낮은 PS)과 필수 허위 특징(높은 PN, 낮은 PS)을 공식화하는 것.
• 현재의 편향 제거 방법—특히 데이터 균형 조정과 표현 편향 제거—가 필수 허위 특징에서 성능 저하가 발생하는 이유를 설명하는 것.
• 모든 허위 특징이 모델의 강건성 평가 및 훈련에서 동일하게 취급될 수 있다는 가정을 도전하는 것.
• 특히 LLM이 희귀한 특징 조합을 처리할 수 있는 잠재적 능력을 고려할 때, 필수 허위 특징을 위한 맞춤형 훈련 및 평가 패러다임을 제안하는 것.

제안 방법

• 인과 모델을 사용하여 허위 특징을 공식화하고, 반사적 조작을 측정하는 확률적 필요성(PN)과 확률적 충분성(PS)을 정의한다.
• PN과 PS를 사용하여 허위 특징을 분류: 관련 없는 특징은 저PN/저PS(예: 감독자 이름), 필수 특징은 고PN/저PS(예: 否정 어절).
• 필수 허위 특징은 데이터 균형 조정이나 표현 편향 제거를 통해 안전하게 제거하거나 분리할 수 없으며, 이는 성능 저하를 초래하기 때문이다.
• 필수 특징에 대한 강건성 평가에는 맥락을 고려한 변형이 필요하다는 점을 주장하며, 이는 다른 특징들과 상호작용하여 레이블에 영향을 주기 때문이다.
• 구조적 인과 모델(SCM)을 사용하여 입력 특징, 레이블, 그리고 혼란 변수를 표현하고, 반사적 간섭을 통해 PN과 PS를 추정한다.
• 데이터 균형 조정을 통한 독립성 강제나 표현 편향 제거를 통한 불변성 강제는 고-PN 특징에서는 실패한다. 왜냐하면 이러한 특징들이 데이터 생성 과정에서 인과적으로 필수적이기 때문이다.

실험 결과

연구 질문

• RQ1 NLP의 모든 허위 특징이 동일하게 문제적인가, 아니면 레이블과의 인과적 관계에서 차이가 있는가?
• RQ2 어떻게 하면 관련 없는 허위 특징(낮은 PN, 낮은 PS)과 예측에 필수적인 허위 특징(높은 PN, 낮은 PS)을 공식적으로 구분할 수 있는가?
• RQ3 왜 표준적인 편향 제거 방법들인 데이터 균형 조정과 표현 편향 제거가 필수 허위 특징에서 강건성을 향상시키지 못하는가?
• RQ4 필수 허위 특징과 맥락적 특징 간의 상호작용은 모델 강건성 평가를 어떻게 복잡하게 만드는가?
• RQ5 인과적으로 필수적인 특징을 고려할 때, 어떤 훈련 및 평가 전략이 적합한가?

주요 결과

• 예측에 필수적인 허위 특징, 예를 들어 부정 어절은 높은 필요성 확률(PN)을 가지지만 낮은 충분성 확률(PS)을 가지며, 이는 예측에 필수적이지만 단독으로는 충분하지 않음을 의미한다.
• 데이터 균형 조정 방법은 특징-레이블 간의 인과적 의존성이 있기 때문에, 필수 허위 특징에서 성능의 불변성을 달성하지 못한다.
• 표현 편향 제거 방법은 필수적인 예측 특징을 제거하기 때문에, 필수 허위 특징에 적용될 경우 모델 성능에 심각한 영향을 미친다.
• 무관한 특징과 필수 특징 간의 구분은 일부 편향 제거 방법이 표현에서 허위 특징을 제거하면서도 성능을 유지하는 것처럼 보이는 이유를 설명한다.
• 기존의 반사적 불변성 개념이나 균일 입력 특징(UIF)은 고-PN 특징에는 적용되지 않으며, 이는 진정한 데이터 생성 과정에서 레이블에 인과적으로 의존하기 때문이다.
• 대규모 언어 모델(LLM)은 강력한 인라인 학습 및 소수 샘플 일반화 능력 덕분에 희귀하거나 알려지지 않은 필수 허위 특징 조합을 처리할 수 있는 길을 열 수 있다.