[論文レビュー] Unveiling and Mitigating Bias in Mental Health Analysis with Large Language Models

Yuqing Wang, Yun Zhao+5 more|arXiv (Cornell University)|Jun 17, 2024

Mental Health via WritingPsychology被引用数 3

ひとこと要約

本研究では、10体の大規模言語モデル（LLM）と8つの多様なデータセットを用いて、7つの社会的要因にわたる精神的健康分析におけるLLMのバイアスを体系的に評価・軽減する。GPT-4がパフォーマンスと公平性のバランスが最も優れており、モデルが大きいほどバイアスが低下し、公平性に配慮したプロンプトが、とりわけ言語的・文化的にマイノリティなアイデンティティ（宗教・国籍など）のグループにおいて、格差を効果的に低減することが判明した。

ABSTRACT

The advancement of large language models (LLMs) has demonstrated strong capabilities across various applications, including mental health analysis. However, existing studies have focused on predictive performance, leaving the critical issue of fairness underexplored, posing significant risks to vulnerable populations. Despite acknowledging potential biases, previous works have lacked thorough investigations into these biases and their impacts. To address this gap, we systematically evaluate biases across seven social factors (e.g., gender, age, religion) using ten LLMs with different prompting methods on eight diverse mental health datasets. Our results show that GPT-4 achieves the best overall balance in performance and fairness among LLMs, although it still lags behind domain-specific models like MentalRoBERTa in some cases. Additionally, our tailored fairness-aware prompts can effectively mitigate bias in mental health predictions, highlighting the great potential for fair analysis in this field.

研究の動機と目的

• 性別、年齢、宗教、性的指向などの多様な社会的要因における精神的健康予測におけるLLMの公平性の不均衡を調査すること。
• 一般向けおよびドメイン特化型モデルを含む10体のLLMが、8つの精神的健康データセットにおいて、パフォーマンスと公平性の両面でどのように評価されるかを検証すること。
• LLMを用いた精神的健康分析におけるバイアスを軽減するための、公平性に配慮したプロンプト戦略の開発と検証を行うこと。
• モデルのスケールと公平性の関係を検討し、従来のパフォーマンスと公平性のトレードオフの仮説に挑戦すること。
• 精神的健康分野における高リスクな応用分野におけるLLMの倫理的導入に向けた実用的知見を提供すること。

提案手法

• デモグラフィックの強化：性別、宗教など社会的要因をLLMのプロンプトに組み込み、1サンプルあたり60種類のバリエーションを生成し、バイアス評価に使用。
• ゼロショット標準プロンプトと少数ショットの思考の道筋（Chain-of-Thought, CoT）プロンプトを用いて、10体のLLM（例：GPT-4、Llama3、MentaLLama）を8つの精神的健康データセットで評価。
• 観察されたバイアスパターンに基づき、予測の格差を能動的に軽減するための公平性に配慮したプロンプトを提案。
• 集計的および層別評価を実施し、デモグラフィックサブグループごとのパフォーマンスと公平性を測定。
• 臨床的公平性指標（例：等しい機会（Equal Opportunity, EO）スコア）を用いて、モデルの公平性を評価。
• 手動による誤差分析を実施し、感情の誤判断やLLM出力の曖昧さといった継続的な問題を同定。

実験結果

リサーチクエスチョン

• RQ1 LLMは、精神的健康分析において、多様なデモグラフィックグループにわたってどの程度バイアスのある予測を示すか？
• RQ2 モデルのサイズは、精神的健康予測タスクにおける公平性とパフォーマンスにどのように影響するか？
• RQ3 少数ショットの思考の道筋（Chain-of-Thought）プロンプトは、LLMを用いた精神的健康分析におけるパフォーマンスと公平性を向上させるか？
• RQ4 公平性に配慮したプロンプトは、さまざまなLLMおよびデモグラフィックサブグループにおいて、バイアス低減にどの程度効果的か？
• RQ5 LLMは、とりわけマイノリティなアイデンティティ（例：宗教・国籍）を対象とした、感受性の高い精神的健康コンテンツを処理する際に、どのような継続的な制限を示しているか？

主な発見

• GPT-4は、一般向けLLMの中でパフォーマンスと公平性のバランスが最も優れており、特定のタスクではドメイン特化型モデル（例：MentalRoBERTa）に劣るが、全体として最良の結果を示した。
• より大きなLLMは低いバイアスレベルを示し、従来のパフォーマンスと公平性のトレードオフの仮説に反し、多様なグループの代表性が向上することで公平性が向上することが示唆された。
• 少数ショットの思考の道筋（CoT）プロンプトは、パフォーマンスと公平性の両方を向上させた。これは、推論と文脈的ヒントが精神的健康文脈におけるモデルの頑健性を高めることを示している。
• 公平性に配慮したプロンプトは、サイズにかかわらず、評価されたすべてのLLMでバイアスを顕著に低減した。これは、バイアス軽減に向けたターゲットドプロンプト戦略の有効性を示している。
• LLMは性別や年齢については強いパフォーマンスを示したが、宗教や国籍については困難を示し、特に代表が少ないアイデンティティにおける格差が継続的に存在することが判明した。
• 手動による誤差分析から、感情の誤判断や曖昧さといった繰り返し発生する問題が判明し、とりわけ複雑な感情的・文化的ニュアンスを含むテキストで顕著であった。