[논문 리뷰] Gendered Mental Health Stigma in Masked Language Models

Inna Wanyin Lin, Lucille Njoo외 5명|arXiv (Cornell University)|2022. 10. 27.

Sex and Gender in Healthcare인용 수 6

한 줄 요약

이 논문은 정신건강 관련 용어에 대해 성별에 따라 편향을 보이는 마스크된 언어 모델(Masked Language Models, MLMs)의 성별 정신건강 낙인을 조사하기 위해 심리학적 근거에 기반한 프롬프트를 구성하여, 모델이 정신건강 장애에 대해 성별 어휘를 어떻게 생성하는지 평가한다. 연구 결과, MLMs는 특히 치료를 구하는 맥락에서 여성과 정신건강 문제를 더 강하게 연관시키는 경향이 있으며, 남성은 회피와 도움 요청 부족과 관련지어 스테레오타입화된다. 다만, 정신건강 데이터로 파인튜닝된 모델은 이러한 편향의 일부를 감소시킨다.

ABSTRACT

Mental health stigma prevents many individuals from receiving the appropriate care, and social psychology studies have shown that mental health tends to be overlooked in men. In this work, we investigate gendered mental health stigma in masked language models. In doing so, we operationalize mental health stigma by developing a framework grounded in psychology research: we use clinical psychology literature to curate prompts, then evaluate the models' propensity to generate gendered words. We find that masked language models capture societal stigma about gender in mental health: models are consistently more likely to predict female subjects than male in sentences about having a mental health condition (32% vs. 19%), and this disparity is exacerbated for sentences that indicate treatment-seeking behavior. Furthermore, we find that different models capture dimensions of stigma differently for men and women, associating stereotypes like anger, blame, and pity more with women with mental health conditions than with men. In showing the complex nuances of models' gendered mental health stigma, we demonstrate that context and overlapping dimensions of identity are important considerations when assessing computational models' social biases.

연구 동기 및 목표

• 마스크된 언어 모델이 성별 정신건강 낙인을 어떻게 인코딩하는지 조사하는 것, 특히 남성의 정신건강 문제를 간과하는 사회적 경향을 중심으로 한다.
• 언어 모델이 정신병과 특정 성별을 연결짓는 사회적 스테레오타입을 증폭하거나 완화하는지 평가하는 것.
• 정신건강 전문 코퍼스로 사전학습한 모델이 이러한 편향을 줄이거나 강화하는지 평가하는 것.
• 임상적으로 검증된 프롬프트를 활용하여 정신건강 낙인을 탐지하기 위한 심리학적 인사이트 기반 프레임워크를 개발하는 것.
• 책임감 있는 정신건강 응용 프로그램 배포를 위한 모델 편향 평가에서 맥락과 다차원 정체성의 중요성을 부각하는 것.

제안 방법

• 정신건강 장애에 대한 진단, 의도, 행동 단계를 반영하는 Health Action Process Approach(HAPA) 기반의 프롬프트 세트를 구성하였다.
• 마스크된 토큰을 사용하여 문장의 주어에 대해 성별 어휘(대명사, 이름, 명사)를 생성하는 모델의 성능을 평가하였다.
• 일반 목적 MLMs와 정신건강 전용 코퍼스로 파인튜닝된 모델 간 결과를 비교하여 훈련 데이터의 영향을 분석하였다.
• 정신건강과 관련된 스테레오타입적 특성(예: 분노, 동정, 비난)을 탐지하기 위해 Attribution Questionnaire(AQ-27) 기반 프롬프트를 구성하였다.
• 다양한 모델 출력 간 성별 어휘의 집합적 확률을 비교하기 위해 재귀적 히우리스틱을 적용하였다.
• annotation 제한으로 인해 이진 성별 연관성에 초점을 맞추어 11종의 일반적인 정신건강 진단에 대해 모델 행동을 분석하였다.

실험 결과

연구 질문

• RQ1 RQ1: 마스크된 언어 모델은 도움을 구하는 단계(진단, 의도, 행동)에 따라 정신건강 장애를 특정 성별과 더 강하게 연관시키는가?
• RQ2 RQ2: 마스크된 언어 모델은 정신건강 장애가 있는 남성과 여성에게 대해 스테레오타입적 특성(예: 비난, 동정, 분노)을 어떻게 다르게 연관시키는가?
• RQ3 RQ3: 정신건강 전용 코퍼스로 사전학습한 모델은 일반 목적 모델 대비 성별 정신건강 낙인에 어떤 영향을 미치는가?
• RQ4 RQ4: 모델이 생성한 성별 연관성은 다양한 정신건강 진단과 맥락적 신호에 대해 일관된가?
• RQ5 RQ5: 겹치는 정체성 차원과 맥락은 언어 모델 내 성별 정신건강 낙인 표현에 어떻게 영향을 미치는가?

주요 결과

• 마스크된 언어 모델은 정신건강 장애에 대해 여성 관련 어휘를 남성 관련 어휘보다 32% 더 자주 생성하는 반면, 남성에 대해서는 19%의 비율을 보였다.
• 치료를 구하는 행동 단계를 암시하는 프롬프트에서는 이 성별 격차가 더욱 심화되어, 행동 단계 프롬프트에서 여성 관련 어휘 비율이 38%로 상승하였다.
• 정신건강 코퍼스로 파인튜닝된 모델은 주어 생성 시 성별 격차를 줄이며 더 성중립적인 응답을 촉진하였다.
• 일반 목적 모델은 정신건강 장애가 있는 여성에게 비난, 동정, 분노와 같은 부정적 스테레오타입을 남성보다 더 강하게 연관지었다.
• 반면, 모델는 남성에게 더 강하게 회피와 도움 요청 부족을 연관지켜 남성의 정서적 침묵에 대한 낙인을 강화하였다.
• 연구는 다양한 모델이 일부 형태의 낙인을 줄이는 반면 다른 형태의 낙인을 증가시킴으로써 NLP 시스템 내 편향의 복잡성을 드러내었다.