[논문 리뷰] Should We Attend More or Less? Modulating Attention for Fairness

Abdelrahman Zayed, Gonçalo Mordido외 2명|arXiv (Cornell University)|2023. 05. 22.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 사전 훈련 후에 주어키 분포의 엔트로피를 조절함으로써 성과 손실를 최소화하면서 NLP 모델의 공정성을 향상시키는 새로운 내부 처리 방법인 EAT (엔트로피 기반 주의 온도 스케일링)를 제안한다. 주의 로짓의 온도를 동적으로 조정함으로써 EAT는 텍스트 분류 및 생성 작업 전반에 걸쳐 성별, 인종, 종교 등 다양한 사회적 편향에 대해 공정성을 향상시키며, 기존 방법들을 능가하며 3.5% 이내의 정확도 저하를 보인다.

ABSTRACT

The advances in natural language processing (NLP) pose both opportunities and challenges. While recent progress enables the development of high-performing models for a variety of tasks, it also poses the risk of models learning harmful biases from the data, such as gender stereotypes. In this work, we investigate the role of attention, a widely-used technique in current state-of-the-art NLP models, in the propagation of social biases. Specifically, we study the relationship between the entropy of the attention distribution and the model's performance and fairness. We then propose a novel method for modulating attention weights to improve model fairness after training. Since our method is only applied post-training and pre-inference, it is an intra-processing method and is, therefore, less computationally expensive than existing in-processing and pre-processing approaches. Our results show an increase in fairness and minimal performance loss on different text classification and generation tasks using language models of varying sizes. WARNING: This work uses language that is offensive.

연구 동기 및 목표

• 주어키 엔트로피와 NLP 모델의 공정성 간의 관계를 조사하는 것.
• 재훈련 없이 미세조정된 BERT와 RoBERTa 모델의 성별 및 기타 사회적 편향을 해결하는 것.
• 훈련 후 주어키 분포를 수정하는 계산 효율적인 내부 처리 방법을 개발하는 것.
• 성별 외에도 인종, 종교 등 다양한 사회적 편향으로의 일반화를 평가하는 것.
• GPT-Neo를 사용한 텍스트 생성 작업으로 방법을 확장하는 것.

제안 방법

• EAT는 사전 훈련 후 주어키 로짓에 온도 스케일링을 적용하여 주어키 분포의 엔트로피를 조절한다.
• 온도 하이퍼파라미터는 검증 데이터를 사용하여 성별 편향 전용으로 튜닝된다.
• 이 방법은 추론 시 적용되며, 어떤 사전 훈련된 모델과도 경량성과 호환성을 가지며 적합하다.
• 기존의 내부 처리 및 사전 처리 편향 제거 방법과 결합하여 추가적인 공정성 향상을 평가한다.
• 세 가지 텍스트 분류 데이터셋에서 평가되었으며, BOLD 벤치마크를 사용해 텍스트 생성으로 확장되었다.
• 모델 출력의 편향은 VADER를 통한 감성 분석으로 측정되었으며, 생성 품질 평가에는 퍼플렉서티가 사용되었다.

실험 결과

연구 질문

• RQ1 미세조정된 BERT와 RoBERTa 모델에서 주어키 분포 엔트로피는 공정성과 성능에 어떻게 영향을 미치는가?
• RQ2 사전 훈련 후 주어키 엔트로피를 조절함으로써 성능 저하 없이 공정성을 향상시킬 수 있는가?
• RQ3 제안된 EAT 방법은 성별 외에도 인종, 종교, 성적 지향 등 다른 사회적 편향으로 일반화되는가?
• RQ4 기타 내부 처리, 내부 처리, 사전 처리 편향 제거 방법과 비교해 EAT는 공정성과 강건성 측면에서 어떻게 성과를 내는가?
• RQ5 GPT-Neo와 같은 텍스트 생성 모델에 EAT를 효과적으로 적용하여 사회적 편향을 완화시킬 수 있는가?

주요 결과

• EAT는 모든 테스트된 편향 유형에서 가장 높은 공정성 순위를 기록했으며, 다른 내부 처리 방법보다 83%의 시나리오에서 승리했다.
• 모든 텍스트 분류 작업에서 성능 저하가 3.5% 이내였으며, 무작위 변동이 유일한 예외였다.
• EAT는 모든 인구 집단에서 모델 생성 결과의 부정적 감성 수준을 낮추었으며, 낮은 퍼플렉서티를 유지했다.
• 성별 편향 전용으로 튜닝된 하이퍼파라미터가 인종, 종교, 장애 등 다른 사회적 편향으로도 효과적으로 일반화되었다.
• 기존의 내부 처리 및 사전 처리 방법과 EAT를 조합하면 모든 설정에서 공정성이 일관되게 향상되었다.
• 검증 템플릿과 테스트 템플릿 간 데이터 분포가 다를 경우에도 EAT는 강건성을 보였다.