[논문 리뷰] Towards an Enhanced Understanding of Bias in Pre-trained Neural Language Models: A Survey with Special Emphasis on Affective Bias

K. Anoop, Manjary P. Gangan외 2명|arXiv (Cornell University)|2022. 04. 21.

Topic Modeling인용 수 4

한 줄 요약

이 종합 검토는 대규모 사전 훈련된 언어 모델에서의 편향에 대한 포괄적인 분석을 제공하며, 정서적 편향—정서 및 정서 표현과 관련된 편향—에 특별한 초점을 맞춘다. 이 논문은 편향의 근본 원인, 정량화 방법, 완화 기법을 검토하고, 전용 코퍼스를 통해 정서적 편향을 평가하여 NLP 시스템의 공정성 향상을 위한 비판적 프레임워크를 제공한다. 특히 정서 계산 응용 분야에서 유의미하다.

ABSTRACT

The remarkable progress in Natural Language Processing (NLP) brought about by deep learning, particularly with the recent advent of large pre-trained neural language models, is brought into scrutiny as several studies began to discuss and report potential biases in NLP applications. Bias in NLP is found to originate from latent historical biases encoded by humans into textual data which gets perpetuated or even amplified by NLP algorithm. We present a survey to comprehend bias in large pre-trained language models, analyze the stages at which they occur in these models, and various ways in which these biases could be quantified and mitigated. Considering wide applicability of textual affective computing based downstream tasks in real-world systems such as business, healthcare, education, etc., we give a special emphasis on investigating bias in the context of affect (emotion) i.e., Affective Bias, in large pre-trained language models. We present a summary of various bias evaluation corpora that help to aid future research and discuss challenges in the research on bias in pre-trained language models. We believe that our attempt to draw a comprehensive view of bias in pre-trained language models, and especially the exploration of affective bias will be highly beneficial to researchers interested in this evolving field.

연구 동기 및 목표

• 대규모 사전 훈련된 신경 언어 모델에서의 편향에 대한 체계적인 이해를 제공함을 목적으로 하며, 특히 정서적 편향에 집중한다.
• 편향이 발생하는 NLP 파이프라인의 단계를 특정함—사전 훈련 및 피니튜닝 포함.
• 기존의 편향 평가 코퍼스를 평가하고, NLP 시스템에서 정서적 편향을 측정하는 데 적합한지를 평가함.
• 편향 정량화, 완화, 공정성과 모델 성능 간의 트레이드오프에 직면한 과제를 부각함.
• 편향 문제를 보다 통합적으로 해결하기 위해 사회학, 심리학, 소프트웨어 공학을 융합한 다학제적 접근을 주장함.

제안 방법

• 기술편향(예: 성별에 기반한 직업 연관성)과 스타일 편향(예: 방언 기반 격차)으로 편향을 분류함.
• 대표성 편향을 정량화하기 위해 워드 임베딩 연관 테스트(WEAT) 및 문장 인코더 연관 테스트(SEAT)와 같은 계산 기반 기법을 검토함.
• 모델 수명 주기 동안의 편향 전파를 분석하며, 사전 훈련 데이터, 사전 훈련 알고리즘, 피니튜닝 과정을 구분함.
• 저자원 및 형태학적으로 복잡한 언어에서의 언어 다양성 검토—인디카 언어 중 말라얄람어를 인디크BERT를 통해 분석함.
• 단위 테스트 및 행동 테스트와 같은 소프트웨어 공학 기법을 편향 평가 파이프라인에 통합할 것을 제안함.
• 공개된 데이터셋 및 편향 평가를 위한 코퍼스를 조사함—정서적 편향과 다중 정체성에 특화된 자료 포함.

실험 결과

연구 질문

• RQ1 정서적 편향—예를 들어 정서적 고정관념 연관성—은 사전 훈련된 언어 모델에 어떻게 나타나는가?
• RQ2 사전 훈련된 언어 모델 개발 수명 주기에서 편향의 주요 근본 원인과 단계는 무엇인가?
• RQ3 기존의 평가 프레임워크와 코퍼스를 사용하여 정서적 편향을 어떻게 정량화하고 측정할 수 있는가?
• RQ4 전체 모델 편향에 기여하는 사전 훈련과 피니튜닝의 기여도를 구분하는 데 있어 핵심 과제는 무엇인가?
• RQ5 심리학, 사회학, 소프트웨어 공학 분야의 다학제적 방법은 NLP에서 편향 탐지 및 완화를 어떻게 향상시킬 수 있는가?

주요 결과

• 정서적 편향은 중요하지만 아직 충분히 연구되지 않은 형태의 편향이며, ‘분노한 흑인 여성’ 토양 같은 해로운 정서적 고정관념으로 나타남.
• GPT-3와 같은 사전 훈련된 모델들이 불공정한 완성(예: 무슬림을 폭력과 연관)을 보여주며, 훈련 데이터에서 기인한 깊은 뿌리의 편향을 드러냄.
• 대규모 코퍼스에서의 비대칭 분포로 인해 사전 훈련 단계에서 편향이 종종 악화되며, 피니튜닝 과정에서 더욱 심화될 수 있음.
• 교차 정체성(예: 무슬림 여성, 흑인 여성)에 대한 평가 코퍼스는 희소하지만 복잡한 편향 패턴을 측정하는 데 필수적임.
• 완화 전략은 성능 트레이드오프를 초래하는 경우가 많아 공정성과 정확성의 균형 잡힌 최적화가 필요함을 시사함.
• 암묵적 연관 테스트 및 소프트웨어 테스팅 기법을 포함한 다학제적 접근은 확장 가능하고 체계적인 편향 평가를 위한 유망한 길을 제시함.