[논문 리뷰] Robustness to Spurious Correlations in Text Classification via Automatically Generated Counterfactuals

Zhao Wang, Aron Culotta|arXiv (Cornell University)|2020. 12. 18.

Text and Document Classification Technologies참고 문헌 31인용 수 12

한 줄 요약

이 논문은 인과적 특징 식별과 반의어 치환을 사용하여 자동으로 반사적 훈련 샘플을 생성함으로써 텍스트 분류기의 강건성을 향상시키는 방법을 제안한다. 인과적 특징을 반의어로 대체하고 레이블을 뒤바꿔 반사적 샘플을 증강함으로써, 기존 데이터와 비교해 인간이 생성한 반사적 테스트 세트에서 12%–25% 높은 정확도를 달성하면서도 원래 데이터 성능을 유지함으로써, 인과적 특징에 초점을 맞추고 비인과적 상관관계를 약화시킴으로써 일반화 능력 향상을 입증한다.

ABSTRACT

Spurious correlations threaten the validity of statistical classifiers. While model accuracy may appear high when the test data is from the same distribution as the training data, it can quickly degrade when the test distribution changes. For example, it has been shown that classifiers perform poorly when humans make minor modifications to change the label of an example. One solution to increase model reliability and generalizability is to identify causal associations between features and classes. In this paper, we propose to train a robust text classifier by augmenting the training data with automatically generated counterfactual data. We first identify likely causal features using a statistical matching approach. Next, we generate counterfactual samples for the original training data by substituting causal features with their antonyms and then assigning opposite labels to the counterfactual samples. Finally, we combine the original data and counterfactual data to train a robust classifier. Experiments on two classification tasks show that a traditional classifier trained on the original data does very poorly on human-generated counterfactual samples (e.g., 10%-37% drop in accuracy). However, the classifier trained on the combined data is more robust and performs well on both the original test data and the counterfactual test data (e.g., 12%-25% increase in accuracy compared with the traditional classifier). Detailed analysis shows that the robust classifier makes meaningful and trustworthy predictions by emphasizing causal features and de-emphasizing non-causal features.

연구 동기 및 목표

• 분포 이탈 또는 미세한 입력 변형에 의해 성능이 저하되는 텍스트 분류에서의 비인과적 상관관계 문제를 해결하기 위해.
• 비용이 많이 드는 인간의 레이블링이 필요한 반사적 샘플에 의존도를 줄이기 위해 고품질의 반사적 훈련 샘플을 자동으로 생성하기 위해.
• 데이터 증강을 통해 인과적 특징을 강조하고 비인과적 특징을 약화시킴으로써 모델의 강건성을 향상시키기 위해.
• 작은 수의 인간 제공 인과적 특징이 대규모 인간 레이블링 반사적 샘플과 비교해 유사한 강건성을 달성할 수 있는지 평가하기 위해.

제안 방법

• 핵심 용어의 반의어를 찾기 위해 통계적 가장 가까운 반대어 매칭 방법을 사용해 가능성이 높은 인과적 특징을 식별한다.
• 인과적 특징을 그들의 반의어로 대체하고 새로운 샘플에 반대 레이블을 할당하여 반사적 샘플을 생성한다.
• 자동으로 생성된 반사적 데이터와 원본 훈련 데이터를 결합하여 강건한 분류기를 훈련시킨다.
• 결합된 데이터셋에서 L2 정규화를 사용한 로지스틱 회귀를 적용해 최종 분류기를 훈련시킨다.
• 원본 분류기와 강건 분류기 간의 특징 중요도 변화를 비교하기 위해 계수 분석을 수행한다.
• 확장성과 성능 트레이드오프를 평가하기 위해 제한된 인간 제공 인과적 특징을 사용한 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 자동으로 생성된 반사적 샘플이 분포 이탈 및 대비 테스트 데이터에서 모델의 강건성 향상에 기여하는가?
• RQ2 강건 분류기의 성능이 원본 및 반사적 테스트 세트에서 기준 분류기와 비교해 어떻게 다른가?
• RQ3 작은 수의 인간 제공 인과적 특징이 대규모 인간 레이블링 반사적 샘플과 유사한 강건성을 달성할 수 있는가?
• RQ4 인과적 용어와 비인과적 용어의 계수 변화가 향상된 일반화에 어떻게 기여하는가?
• RQ5 문서 길이가 인과적 용어 가중치 증가와 비인과적 용어 가중치 감소의 상대적 영향에 영향을 미치는가?

주요 결과

• 원본 데이터만으로 훈련된 기준 분류기는 인간이 생성한 반사적 테스트 세트에서 정확도가 10%–37% 감소하는 것으로 나타나 비인과적 상관관계에 매우 민감함을 보였다.
• 원본 데이터와 자동으로 생성된 반사적 데이터를 결합해 훈련한 강건 분류기는 반사적 테스트 세트에서 기준 분류기 대비 12%–25%의 절대 정확도 향상을 달성했다.
• 강건 분류기는 특징 계수 조정을 통해 인과적 용어(예: 'awesome', 'awful')를 강조하고 비인과적 용어(예: 'free', 'movie')를 약화시켜 더 신뢰할 수 있는 예측을 할 수 있도록 학습했다.
• 오직 50개의 인간 제공 인과적 특징만으로도 이전 연구에서 사용한 1,700개의 인간 생성 반사적 샘플로 훈련된 모델과 유사한 성능을 달성했다.
• IMDB-L에서는 인과적 용어의 계수 증가가 비인과적 용어의 계수 감소보다 더 큰 영향을 미쳤지만, 더 작은 데이터셋에서는 반대의 경향을 보였으며, 이는 문서 길이가 계수 조정의 상대적 중요도에 영향을 미칠 수 있음을 시사한다.
• 오류 분석을 통해 강건 분류기가 인과적 용어의 가중치를 증가시키고 비인과적 용어의 영향을 줄임으로써 기존 모델이 잘못 분류한 사례를 수정하는 것으로 확인되었으며, 특히 비인과적 특징이 오류를 유발한 경우에 두드러졌다.