[論文レビュー] An Evaluation of Generative Pre-Training Model-based Therapy Chatbot for Caregivers

Lu Wang, Munif Ishad Mujib+3 more|arXiv (Cornell University)|Jul 28, 2021

AI in Service Interactions参考文献 38被引用数 23

ひとこと要約

本研究では、認知症介護者の306件の実際の療法セッションに微調整されたGPT-2ベースの療法チャットボットを評価し、生成品質と感情的トーンを検証した。結果として、微調整モデルはセラピストの応答長さをよりよく再現したが、非語彙の生成が増加し、感情的傾向が著しく否定的になった。これは、生成モデルを臨床的メンタルヘルス応用に適応させる上での課題を浮き彫りにしている。

ABSTRACT

With the advent of off-the-shelf intelligent home products and broader internet adoption, researchers increasingly explore smart computing applications that provide easier access to health and wellness resources. AI-based systems like chatbots have the potential to provide services that could provide mental health support. However, existing therapy chatbots are often retrieval-based, requiring users to respond with a constrained set of answers, which may not be appropriate given that such pre-determined inquiries may not reflect each patient's unique circumstances. Generative-based approaches, such as the OpenAI GPT models, could allow for more dynamic conversations in therapy chatbot contexts than previous approaches. To investigate the generative-based model's potential in therapy chatbot contexts, we built a chatbot using the GPT-2 model. We fine-tuned it with 306 therapy session transcripts between family caregivers of individuals with dementia and therapists conducting Problem Solving Therapy. We then evaluated the model's pre-trained and the fine-tuned model in terms of basic qualities using three meta-information measurements: the proportion of non-word outputs, the length of response, and sentiment components. Results showed that: (1) the fine-tuned model created more non-word outputs than the pre-trained model; (2) the fine-tuned model generated outputs whose length was more similar to that of the therapists compared to the pre-trained model; (3) both the pre-trained model and fine-tuned model were likely to generate more negative and fewer positive outputs than the therapists. We discuss potential reasons for the problem, the implications, and solutions for developing therapy chatbots and call for investigations of the AI-based system application.

研究の動機と目的

• 認知症患者の家族ケアラーを対象としたメンタルヘルス療法チャットボットに、GPT-2のような生成事前学習モデルを用いる可能性を検討すること。
• メタ情報指標を用いて、微調整済みGPT-2モデルの応答品質を、事前学習済みベースラインと比較して評価すること。
• 生成モデルが臨床会話環境において、特に感情的正確性と応答の一貫性に関して、潜在的なリスクと制限を同定すること。
• 感情的トーンと言語的品質におけるパフォーマンスギャップを分析することで、今後のAI駆動型メンタルヘルスツールの開発を支援すること。

提案手法

• 認知症ケアラーと公認セラピストの間の306件の実際の療法セッショントランスクリプトを、問題解決療法（Problem Solving Therapy）に基づいて、GPT-2 mediumモデルに微調整した。
• モデル出力の評価に、3つのメタ情報指標（非語彙出力の割合、応答長さ、感情成分（肯定的／否定的））を用いた。
• 微調整済みモデルの応答を、事前学習済みGPT-2および実際のセラピストの応答と比較し、改善点と乖離を評価した。
• 感情分析を適用して、実際のセラピストの対話で観察された肯定的強化パターンと照らし合わせ、感情的トーンを定量化した。
• 言語的品質（非語彙）、構造的一致性（応答長さ）、感情的整合性（感情）の3つの次元から、モデルの行動を評価した。
• 定性的および定量的アプローチを用いて、微調整がモデルの治療的会話パターンを模倣する能力を向上させたかどうかを評価した。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みGPT-2モデルを療法セッショントランスクリプトに微調整することで、生成応答の言語的品質にどのような影響を与えるか？
• RQ2 微調整済みモデルの応答長さは、実際のセラピストの応答とどの程度一致するか？
• RQ3 モデルの応答における感情的パターンは、臨床環境下での公認セラピストのそれと比べてどのように異なるか？
• RQ4 生成モデルが治療的会話ダイナミクスを再現する際の主な制限要因は何か、特に感情的トーンと一貫性に関して。

主な発見

• 微調整済みGPT-2モデルは、事前学習済みモデルと比較して、非語彙の出力割合が有意に増加しており、微調整による言語的品質の低下を示している。
• 微調整済みモデルは、事前学習済みモデルよりも実際のセラピストの応答長さに統計的に近い応答を生成しており、構造的模倣の向上が示された。
• 事前学習済みモデルおよび微調整済みモデルの両方が、実際のセラピストと比較して著しく否定的傾向の強い感情を示し、肯定的感情の割合が著しく少なかった。これは、治療的強化パターンを再現できていないことを示している。
• モデルが肯定的感情を維持できないことは、臨床データに微調整を行った後でも、治療的意図との根本的不整合を示している。
• 微調整データセットが小さく（7MB未満）、特に一貫性があり、感情的に適切な応答を生成する能力の低下に寄与している可能性がある。
• 本研究は、データ不足、解釈不能性、および治療における人間の認知的・感情的要因との整合性を図るのが困難であるため、大規模な生成モデルを臨床分野に適応させる課題を浮き彫りにしている。