[논문 리뷰] Identifying Spurious Correlations for Robust Text Classification

Zhao Wang, Aron Culotta|arXiv (Cornell University)|2020. 10. 06.

Topic Modeling참고 문헌 34인용 수 8

한 줄 요약

이 논문은 인과적 추론 기법을 활용해 처리 효과 추정기를 특징으로 삼아 진정한 연관성과 허위 연관성을 구분하는 지도 학습 방법을 제안한다. 제한된 레이블이 부여된 예시(200–300개)로 훈련된 단어 분류기는 AUC 점수 0.66–0.82를 기록하며, 예측된 허위성 순서로 허위 용어를 제거함으로써 분포 이탈과 공정성 문제 상황에서의 최악의 정확도를 향상시켜 모델의 강건성을 높인다.

ABSTRACT

The predictions of text classifiers are often driven by spurious correlations -- e.g., the term `Spielberg' correlates with positively reviewed movies, even though the term itself does not semantically convey a positive sentiment. In this paper, we propose a method to distinguish spurious and genuine correlations in text classification. We treat this as a supervised classification problem, using features derived from treatment effect estimators to distinguish spurious correlations from "genuine" ones. Due to the generic nature of these features and their small dimensionality, we find that the approach works well even with limited training examples, and that it is possible to transport the word classifier to new domains. Experiments on four datasets (sentiment classification and toxicity detection) suggest that using this approach to inform feature selection also leads to more robust classification, as measured by improved worst-case accuracy on the samples affected by spurious correlations.

연구 동기 및 목표

• 텍스트 분류기가 의미적 의미보다는 통계적 연관성으로 인해 '스필버그'가 긍정적 감성과 연관되는 등 허위 연관성에 의존하는 문제를 해결하기 위해.
• 학습 데이터와 테스트 데이터 간의 분포 이탈 상황(예: 새로운 부정적 스플버그 영화)에서 허위 특징을 식별하고 제거함으로써 모델의 강건성을 향상시키기 위해.
• 특정 인구 집단과 연관된 용어가 본질적으로 유해하지 않더라도 과도하게 유해성으로 예측되는 문제를 줄여 텍스트 분류의 공정성을 높이기 위해.
• 모델 결정에 대한 신뢰를 해치는 오해의 소재가 되는 특징에 대한 의존도를 줄여 NLP의 설명 가능성 지원을 위해.
• 재학습 없이도 다양한 도메인으로 일반화 가능한 이식 가능하고 데이터 효율적인 허위 특징 식별 방법을 개발하기 위해.

제안 방법

• 인과적 추론 기법에서 유도된 단어 수준의 특징을 활용해 허위 연관성 대 비진정 연관성의 단어 연관성을 지도 학습 기반 이진 분류 문제로 간주한다.
• 매칭 기반 처리 효과 추정을 활용해 각 단어가 레이블에 미치는 인과적 영향을 식별하며, 문맥적 공존 패턴을 통제한다.
• 매칭 과정에서 유도된 일반적인, 저차원의 특징(예: 평균 처리 효과, 성향 점수 등)을 구성하여 단어 분류기 훈련에 활용한다.
• 작은 레이블이 부여된 단어 예시(200–300개)를 기반으로 훈련된 이진 분류기를 활용해 단어가 허위인지 진정인지 예측한다.
• 훈련된 단어 분류기를 활용해 어휘에 포함된 모든 단어를 예측된 허위성 순서로 정렬하여, 후속 텍스트 분류 작업에서의 특징 선택을 가능하게 한다.
• 정렬된 목록을 기반으로 주 분류 작업에서 특징 선택을 수행하며, 예측된 허위성 순서대로 단어를 제거함으로써 최악의 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 처리 효과 추정기를 사용해 텍스트 분류에서 허위 연관성과 진정 연관성을 식별하는 데 효과적이고 저차원의 특징을 구성할 수 있는가?
• RQ2 작은 레이블 예시(200–300개)로 훈련된 단어 분류기는 강한 레이블 연관성을 가진 단어들에 대해서도 허위 용어를 식별하는 데 얼마나 잘 성능을 내는가?
• RQ3 한 도메인에서 훈련된 단어 분류기가 성능 저하 없이 다른 도메인으로 이식 가능한가?
• RQ4 단어 분류기의 예측 결과를 기반으로 특징 선택을 수행할 경우, 분포 이탈 상황에서 후속 텍스트 분류 작업의 최악의 정확도가 향상되는가?
• RQ5 감성 사전 기반의 기준 방법에 비해 제안된 방법은 진정한, 맥락 기반의 감성 및 유해성 특징을 식별하는 데 얼마나 뛰어나게 성능을 내는가?

주요 결과

• 제안된 단어 분류기는 허위 연관성을 식별하는 데 AUC 점수 0.66–0.82를 기록하며, 레이블과 강한 연관성을 가진 단어들에 대해서도 제한된 훈련 데이터에도 불구하고 강건성을 입증한다.
• 이 방법은 도메인 간 일반화 성능이 뛰어나며, 한 데이터셋(예: IMDB)에서 훈련된 단어 분류기가 다른 데이터셋(예: 유해 댓글)에 적용되어도 높은 성능 유지를 보이며 강력한 이식 가능성을 입증한다.
• 단어 분류기의 예측 결과를 기반으로 특징 선택을 수행할 경우(예측된 허위성 순서로 단어 제거), 분포 이탈 테스트 세트에서 최악의 정확도가 향상되어 강건성 향상이 확인된다.
• 이 방법은 네 개의 데이터셋(IMDB, Kindle, 유해 댓글, 유해 트윗) 전반에서 감성 사전 기반 기준 방법보다 뛰어나며, F1 또는 AUC에서 0.05~0.2의 성능 격차를 보이며 맥락 기반 및 감성 외의 진정한 특징들을 더 잘 탐지함을 입증한다.
• 빈도, 공존 패턴 등 처리 효과 외 추가 특징을 조합하면 처리 효과만을 사용할 경우보다 분류기 성능이 향상됨을 확인하여 다중 모odal 특징 설계의 가치를 입증한다.
• 이 방법은 유해성 분류에서 인구 집단과 연관된 용어에 대한 의존도를 효과적으로 줄여, 허위 연관성과 관련된 공정성 리스크를 완화한다.