[論文レビュー] Gendered Mental Health Stigma in Masked Language Models

Inna Wanyin Lin, Lucille Njoo+5 more|arXiv (Cornell University)|Oct 27, 2022

Sex and Gender in Healthcare被引用数 6

ひとこと要約

本稿は、心理学的根拠に基づくプロンプトを収集することで、マスクド言語モデル（MLM）におけるジェンダー化されたメンタルヘルスのステレオタイプを調査する。モデルがメンタルヘルス障害のためのジェンダーニックネームを生成する際のバイアスを評価した結果、MLMは特に治療への関与の段階において、メンタルヘルス問題を女性と強く結びつける傾向があることが判明した。一方で、男性は避けることや助けを求めることがないというステレオタイプと結びつけられる。ただし、メンタルヘルスデータでファインチューニングされたモデルは、こうしたバイアスの一部を軽減する。

ABSTRACT

Mental health stigma prevents many individuals from receiving the appropriate care, and social psychology studies have shown that mental health tends to be overlooked in men. In this work, we investigate gendered mental health stigma in masked language models. In doing so, we operationalize mental health stigma by developing a framework grounded in psychology research: we use clinical psychology literature to curate prompts, then evaluate the models' propensity to generate gendered words. We find that masked language models capture societal stigma about gender in mental health: models are consistently more likely to predict female subjects than male in sentences about having a mental health condition (32% vs. 19%), and this disparity is exacerbated for sentences that indicate treatment-seeking behavior. Furthermore, we find that different models capture dimensions of stigma differently for men and women, associating stereotypes like anger, blame, and pity more with women with mental health conditions than with men. In showing the complex nuances of models' gendered mental health stigma, we demonstrate that context and overlapping dimensions of identity are important considerations when assessing computational models' social biases.

研究の動機と目的

• マスクド言語モデルが、男性のメンタルヘルスが軽視される社会的傾向に起因するジェンダー化されたメンタルヘルスステレオタイプをどのようにエンコードしているかを調査すること。
• 言語モデルが、特定のジェンダーとメンタル不調を結びつける社会的ステレオタイプを強化するか、緩和するかを評価すること。
• メンタルヘルスコーパスでドメイン特化した事前学習が、こうしたバイアスの軽減または強化に与える影響を評価すること。
• 臨床的に妥当性が確認されたプロンプトを用いて、NLPモデルにおけるメンタルヘルスステレオタイプを心理学的知見に基づいたフレームワークで探査する手法を開発すること。
• 責任あるメンタルヘルスアプリケーションへの導入を考慮する際、文脈と交差的アイデンティティの重要性を強調すること。

提案手法

• ヘルスアクションプロセスアプローチ（HAPA）に基づき、メンタルヘルス障害に関する診断、意思決定、行動の3段階を表す一連のプロンプトを収集した。
• マスクドトークンを用いて、メンタルヘルス関連文の主語としてのジェンダーニック語（代名詞、名前、名詞）の生成を評価した。
• 一般用途のMLMとメンタルヘルス特化コーパスでファインチューニングされたモデルを比較し、学習データの影響を評価した。
• 属性質問票（AQ-27）に基づくプロンプトを構築し、メンタル不調に関連するステレオタイプ的属性（例：怒り、憤り、非難）を探査した。
• 再帰的ヒューリスティックを適用し、異なるモデル出力間でのジェンダーニックフレーズの集約確率を生成および比較した。
• アノテーションの制限を考慮し、11の一般的なメンタルヘルス診断にわたり、バイナリジェンダーの関連性に焦点を当ててモデル行動を分析した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: マスクド言語モデルは、特に助けを求める段階（診断、意思決定、行動）の違いにおいて、メンタルヘルス障害を特定のジェンダーとより強く結びつけるか？
• RQ2 RQ2: マスクド言語モデルは、メンタルヘルス障害を有する男性と女性に対して、ステレオタイプ的属性（例：非難、憤り、共感）をどのように異なる割合で関連付けるか？
• RQ3 RQ3: メンタルヘルス特化コーパスでの事前学習は、一般用途モデルと比較して、モデルのジェンダー化されたメンタルヘルスステレオタイプにどのような影響を与えるか？
• RQ4 RQ4: モデルが生成するジェンダーニック関連性は、異なるメンタルヘルス診断および文脈的キューに対して一貫しているか？
• RQ5 RQ5: 重複するアイデンティティの次元と文脈が、言語モデルにおけるジェンダー化されたメンタルヘルスステレオタイプの表現にどのように影響するか？

主な発見

• マスクド言語モデルは、メンタルヘルス障害に関する文において、男性関連語よりも女性関連語を生成する確率が32%高い一方、男性関連語は19%にとどまる。
• 治療への関与を示すプロンプトでは、このジェンダー格差が顕著に拡大し、行動段階のプロンプトでは女性関連語の生成確率が38%に上昇する。
• メンタルヘルスコーパスでファインチューニングされたモデルは、主語生成におけるジェンダー格差を軽減し、よりジェンダー中立的な反応を促進する。
• 一般用途のモデルは、メンタルヘルス障害を有する女性に対して、非難、共感、怒りといった否定的ステレオタイプを、男性よりも強く関連付ける。
• 一方で、モデルは男性に対して、避けることや助けを求めることがないという特徴をより強く関連付けることで、男性の感情の沈黙というステレオタイプを強化する。
• 本研究は、異なるモデルが一部のステレオタイプは軽減するが、他のステレオタイプは増強する傾向にあることを明らかにし、NLPシステムにおけるバイアスの複雑さを示している。