[論文レビュー] Towards Algorithmic Fidelity: Mental Health Representation across Demographics in Synthetic vs. Human-generated Data

Shinka Mori, Oana Ignat+2 more|arXiv (Cornell University)|Mar 25, 2024

Mental Health Research TopicsPsychology被引用数 3

ひとこと要約

本論文は、GPT-3を用いて生成された3,120件の合成ストレス要因投稿（抑うつ状態を引き起こす要因）から成る合成データセットHeadRoomを紹介する。本研究では、人種、性別、および時間的要因（COVID-19前後）を制御している。アルゴリズムの正確性を評価するため、合成データと人間が生成したメンタルヘルスデータを比較した結果、GPT-3は一部の現実世界のストレス要因の分布を人種ごとに捉えているが、代表性や感受性に著しいバイアスや制限があることが判明した。

ABSTRACT

Synthetic data generation has the potential to impact applications and domains with scarce data. However, before such data is used for sensitive tasks such as mental health, we need an understanding of how different demographics are represented in it. In our paper, we analyze the potential of producing synthetic data using GPT-3 by exploring the various stressors it attributes to different race and gender combinations, to provide insight for future researchers looking into using LLMs for data generation. Using GPT-3, we develop HEADROOM, a synthetic dataset of 3,120 posts about depression-triggering stressors, by controlling for race, gender, and time frame (before and after COVID-19). Using this dataset, we conduct semantic and lexical analyses to (1) identify the predominant stressors for each demographic group; and (2) compare our synthetic data to a human-generated dataset. We present the procedures to generate queries to develop depression data using GPT-3, and conduct analyzes to uncover the types of stressors it assigns to demographic groups, which could be used to test the limitations of LLMs for synthetic data generation for depression data. Our findings show that synthetic data mimics some of the human-generated data distribution for the predominant depression stressors across diverse demographics.

研究の動機と目的

• GPT-3のような大規模言語モデルが、多様な人種および性別グループにおいて抑うつ状態のストレス要因をどのように表現しているかを調査すること。
• 合成データのアルゴリズム的正確性（アルゴリズムの正確性）を、現実世界のメンタルヘルスデータの分布を模倣できるか否かを評価すること。
• 特に代表が不足しているマイノリティのグループに関して、LLMが生成するメンタルヘルスデータに見られるバイアスや制限を特定すること。
• 制御されたプロンプトを用いた合成抑うつデータの生成と分析の再現可能なフレームワークを提供すること。
• 合成データをメンタルヘルスアプリケーションに無批判に使用するとバイアスが拡大する可能性があるため、研究者に対して注意喚起すること。

提案手法

• GPT-3を用いた制御されたプロンプト設計により、人種、性別、時間枠（COVID-19前後）を明示的に制御した3,120件の合成ブログ形式の投稿（抑うつ状態のストレス要因）を生成。
• 構造化されたプロンプトテンプレートの開発：'あなたは{人種}の{性別}で、抑うつ状態に陥っているとします。あなたの人生における主なストレス要因を説明するブログ投稿を書いてください。'
• 各デモグラフィックグループごとの主なストレス要因を特定するための意味的・語彙的分析。
• UMD-ODHデータセットからの人間が生成したデータと比較するためのトピックモデリングとキーワードベース分析。
• Aguirreら（2022年）の既存のトピックモデルとキーワードリストを用い、合成データと実データの間で定量的比較を可能にした。
• GitHubを通じたHeadRoomデータセットおよびコードの公開により、再現可能性とさらなる研究を支援。

Figure 1: Topic Modeling: topic proportions between race and gender intersectionality – African American women vs. African American men. The bars represent confidence intervals. The closer to the graph extremities, the more prevalent the topics are for the corresponding demographics

実験結果

リサーチクエスチョン

• RQ1 RQ1: GPT-3は、異なるデモグラフィックグループに対してどのような抑うつ状態のストレス要因を特定しているか。また、メンタルヘルスのストレス要因における既知のデモグラフィックバイアスを捉えているか。
• RQ2 RQ2: 抑うつ状態のストレス要因に関する合成データは、人種および性別というデモグラフィック要因において、人間が生成したデータとどのように比較されるか。
• RQ3 RQ3: GPT-3は、多様なグループにおける抑うつ状態のストレス要因の現実世界の分布をどの程度正確に再現しているか、すなわち『アルゴリズム的正確性』を示しているか。

主な発見

• GPT-3が生成した合成データは、複数のデモグラフィックグループにおいて、現実の人間が生成したデータに見られる主な抑うつ状態のストレス要因（例：経済的圧迫、家族関連の懸念）を一部捉えている。
• モデルはストレス要因の帰属においてデモグラフィックバイアスを示しており、人種と性別の組み合わせによっては特定のストレス要因が過剰または不足して表現されている。
• 合成データのストレス要因パターンは、UMD-ODHデータセットの現実世界の分布と部分的に一致しており、中程度のアルゴリズム的正確性を示している。
• モデルは自殺や自己傷害に関する言及を生成していないが、これは人間の抑うつテキストに一般的に見られるため、安全性やトレーニングデータの制限の可能性がある。
• 合成データセットはサイズが限定的（3,120件）であり、より長いテキストシーケンスやより複雑な言語的パターンへの一般化は不十分である可能性がある。
• モデルの制限には、説明可能性の欠如、将来的なGPT-3バージョンでの変更の可能性、および2021年6月に切れたトレーニングデータの制限により、2021年以降の関連性が制限されていること。

Figure 2: Topic Modeling: topic proportion between different demographics, as detected in GPT-generated data and in real-life data. Colors represent different races and genders: Men – purple, Women – orange, Asian – magenta, African American – green, Hispanic – blue, and White – red. The bars repres