[論文レビュー] Development and Evaluation of Three Chatbots for Postpartum Mood and Anxiety Disorders

Xuewen Yao, Miriam Mikhelson+4 more|arXiv (Cornell University)|Aug 14, 2023

Digital Mental Health Interventions被引用数 7

ひとこと要約

本研究では、産後うつ病や不安障害を呈する産後ケアゲイバーに対して、共感的で文脈に特化した支援を提供する3つのチャットボット（2つのルールベース型と1つの生成型）の開発と評価を行った。Postpartum Support Internationalのホットラインから得られた7,014件の実際の会話データセットを用いて評価したところ、ルールベース型モデルは共感性、関連性、ユーザーの好みにおいて生成型モデルを上回ったが、生成型モデルは訓練データの制限により、混乱をきたすか意味のない応答を生成した。

ABSTRACT

In collaboration with Postpartum Support International (PSI), a non-profit organization dedicated to supporting caregivers with postpartum mood and anxiety disorders, we developed three chatbots to provide context-specific empathetic support to postpartum caregivers, leveraging both rule-based and generative models. We present and evaluate the performance of our chatbots using both machine-based metrics and human-based questionnaires. Overall, our rule-based model achieves the best performance, with outputs that are close to ground truth reference and contain the highest levels of empathy. Human users prefer the rule-based chatbot over the generative chatbot for its context-specific and human-like replies. Our generative chatbot also produced empathetic responses and was described by human users as engaging. However, limitations in the training dataset often result in confusing or nonsensical responses. We conclude by discussing practical benefits of rule-based vs. generative models for supporting individuals with mental health challenges. In light of the recent surge of ChatGPT and BARD, we also discuss the possibilities and pitfalls of large language models for digital mental healthcare.

研究の動機と目的

• コスト、ステイグマ、医療提供者の不足といった障壁に直面する産後ケアゲイバーに対して、アクセスしやすく低コストな精神保健支援の重大な空白を埋めるため。
• 実際の臨床会話データを用いて、産後うつ病や不安障害（PPMADs）に対して文脈に特化した共感的応答を提供するチャットボットの開発と評価を行うため。
• デジタル精神保健分野におけるパフォーマンス、共感性、使いやすさの観点から、ルールベース型と生成型モデルの比較を行うため。
• 大規模言語モデル（例：ChatGPT）が直接的なデジタル精神保健アプリケーションに用いられる際の倫理的・実用的制限を評価するため。

提案手法

• Postpartum Support Internationalのホットラインから得られた7,014件の匿名化されたテキストメッセージ会話データセットを、訓練および評価に活用した。
• 意図とエンティティ認識を用いて事前に作成された文脈に特化した応答をマッピングする、リtrieバル型アーキテクチャを用いたルールベース型チャットボットを構築した。
• 同じ会話データセットを用いて微調整された大規模言語モデル（LLM）を用いて、オープンエンドな応答を生成する生成型チャットボットを構築した。
• 自動評価指標（例：BLEU、ROUGE、BERTScore）と、共感性、関連性、ユーザーの好みを評価するためのアンケートによる人間評価を併用してモデルを評価した。
• 参加者によるユーザースタディを実施し、各モデルの応答の質と感情的支援の質を主観的に比較した。
• ChatGPTの限界をテストするため、典型的な産後の懸念事項を提示して、文脈の保持、事実の正確性、倫理的妥当性を評価した。

実験結果

リサーチクエスチョン

• RQ1 ルールベース型と生成型チャットボットは、産後ケアゲイバーに対して文脈に特化した共感的応答をどのように提供するか、その違いは何か？
• RQ2 訓練データの質とモデルアーキテクチャが、精神保健分野のチャットボットにおける応答の整合性と共感性に与える影響は何か？
• RQ3 人間の監視なしに、ChatGPTのような大規模言語モデルを直接精神保健分野のデジタルケアに倫理的かつ効果的に利用できるか？
• RQ4 ユーザーは、ルールベース型と生成型モデルの応答に対して、共感性、関連性、信頼性をどのように評価するか？
• RQ5 生成型モデルは、感情的に敏感な会話において、文脈をどれほど保持し、無意味または有害な応答を避けることができるか？

主な発見

• ルールベース型チャットボットは機械ベースの指標で最高のパフォーマンスを示し、正解の基準に最も近く、共感性スコアも最高であった。
• 人間のユーザーは、文脈に特化した、整合性があり、人間らしい応答を示すため、生成型モデルよりもルールベース型チャットボットを好んだ。
• 生成型チャットボットは共感的な応答を生成し、会話に参加しやすいと感じられたが、訓練データの制限により、頻繁に混乱をきたすか意味のない返答を生成した。
• ChatGPTは会話全体にわたって文脈を保持できず、例として「彼（彼氏）」を乳児ではなく成人と誤認するなど、感情的に敏感な状況での信頼性を損なった。
• ChatGPTの応答は、注意深くプロンプトを提示しても、精神保健ケアに適さない倫理的側面を示しており、誤ったまたは有害な助言を提供する可能性があった。
• ChatGPTのような大規模言語モデルは、状況理解の欠如、倫理的制約、誤りの是正の信頼性の低さのため、人間の監視なしにはデジタル精神保健分野への直接導入が不可能である。