[논문 리뷰] The Authors Matter: Understanding and Mitigating Implicit Bias in Deep Text Classification

Haochen Liu, Wei Jin외 3명|arXiv (Cornell University)|2021. 05. 06.

Topic Modeling참고 문헌 30인용 수 4

한 줄 요약

이 논문은 딥 텍스트 분류기에서 저자와 관련된 언어적 패턴이 아닌 콘텐츠 기반 특징에 집중하도록 훈련시켜 암묵적 편향을 완화하는 모델에 종속적이지 않은 프레임워크인 Debiased-TC를 소개한다. 사전성 선택 레이어와 최적화 전략을 통합함으로써, 저자 인구통계학적 특성과 연관된 부정확한 예측을 줄이고, 세 개의 실세계 데이터셋에서 분류 정확도를 유지하거나 略로 향상시키는 데 성공했다.

ABSTRACT

It is evident that deep text classification models trained on human data could be biased. In particular, they produce biased outcomes for texts that explicitly include identity terms of certain demographic groups. We refer to this type of bias as explicit bias, which has been extensively studied. However, deep text classification models can also produce biased outcomes for texts written by authors of certain demographic groups. We refer to such bias as implicit bias of which we still have a rather limited understanding. In this paper, we first demonstrate that implicit bias exists in different text classification tasks for different demographic groups. Then, we build a learning-based interpretation method to deepen our knowledge of implicit bias. Specifically, we verify that classifiers learn to make predictions based on language features that are related to the demographic attributes of the authors. Next, we propose a framework Debiased-TC to train deep text classifiers to make predictions on the right features and consequently mitigate implicit bias. We conduct extensive experiments on three real-world datasets. The results show that the text classification models trained under our proposed framework outperform traditional models significantly in terms of fairness, and also slightly in terms of classification performance.

연구 동기 및 목표

• 암묵적 편향이 딥 텍스트 분류 모델에 존재하는지, 그리고 그 메커니즘이 무엇인지 조사하는 것 — 즉, 텍스트에 해당 정체성이 언급되지 않았음에도 불구하고 예측이 저자 인구통계학적 특성에 의해 부당하게 영향을 받는가를 확인하는 것.
• 딥 모델이 저자 인구통계학적 특성과 관련된 언어적 특징을 어떻게 학습하고 이용하는지 이해하는 것 — 이는 편향된 예측을 초래한다.
• 훈련 중에 편향된 특징 선택을 수정할 수 있는 모델에 종속적이지 않은 프레임워크를 개발하는 것.
• 제안된 방법이 공정성 향상과 함께 분류 성능를 유지하거나 향상시키는지 평가하는 것.

제안 방법

• 저자 인구통계학적 특성과 관련된 언어적 특징(예: 'goin'이나 'yup'과 같은 방언어)이 모델이 편향된 예측을 내리는데 기여하는지 식별하기 위해 기반 학습 해석 방법을 제안한다.
• 모델이 콘텐츠 관련 특징에만 주의를 기울이도록 명시적으로 안내하는 사전성 선택 레이어를 설계한다. 이는 인구통계학적 관련 언어적 신호를 걸러내는 데 기여한다.
• 백프로파게이션 중에 올바른 콘텐츠 기반 특징을 우선시하도록 분류기를 훈련시키는, 미분 가능한 최적화 방법을 도입한다. 이는 편향된 신호에 대한 의존도를 줄인다.
• 모든 딥 텍스트 분류기(예: CNN 또는 트랜스포머)와 통합이 가능한 모델에 종속적이지 않은 프레임워크를 확보한다.
• 비교를 위해 데이터 증강과 인스턴스 가중치를 기준선으로 사용하지만, 데이터 재균형화가 아닌 기반 학습 보정에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 암묵적 편향이 딥 텍스트 분류기에서 존재하는가? 즉, 텍스트에 정체성 어휘가 포함되지 않았음에도 불구하고 예측이 저자 인구통계학적 특성에 의해 영향을 받는가?
• RQ2 모델이 저자 인구통계학적 특성과 연관지워 학습하는 구체적인 언어적 특징는 무엇이며, 이러한 특징이 부당한 예측을 어떻게 유도하는가?
• RQ3 기반 학습 프레임워크가 훈련 중에 모델이 편향된 언어적 신호에 의존하는 것을 효과적으로 식별하고 수정할 수 있는가?
• RQ4 제안된 프레임워크 Debiased-TC는 기존의 편향 제거 방법과 비교해 공정성 및 분류 성능 측면에서 어떻게 성과를 내는가?

주요 결과

• 딥 텍스트 분류기에서 암묵적 편향이 존재한다: 아프리카계 미국인 저자들이 'yup'이나 'goin'과 같은 방언어를 사용할 때조차, 정서가 긍정임에도 불구하고 낮은 정서 점수를 부여한다.
• 사전성 해석 방법은 모델이 인구통계학적 관련 언어적 특징(예: 아프리카계 미국인 저자에게서 'goin'과 같은 표현)을 잘못된 레이블과 연관지워 학습함으로써 부당한 예측을 유도함을 확인한다.
• Debiased-TC는 세 개의 실세계 데이터셋에서 암묵적 편향을 크게 감소시켰으며, 다양한 인구통계학적 집단에서 정확도와 F1 점수 모두에서 공정성 향상을 관찰했다.
• 이 프레임워크는 분류 성능을 유지하거나 略로 향상시키며, IMDB 데이터셋에서 Debiased-TC는 63.68%의 정확도와 74.05%의 F1 점수를 기록했다. 이는 기본 모델보다 略로 높고, 데이터 증강 기반 기준선과도 경쟁 가능했다.
• 특히 데이터 불균형이나 정체성 어휘 교체가 어려운 상황에서 기존의 전통적 편향 제거 기법(예: 데이터 증강, 인스턴스 가중치)보다 공정성 지표에서 뛰어난 성능을 보였다.