[論文レビュー] Read, Diagnose and Chat: Towards Explainable and Interactive LLMs-Augmented Depression Detection in Social Media

Wei Qin, Zetong Chen+4 more|arXiv (Cornell University)|May 9, 2023

Mental Health via Writing被引用数 12

ひとこと要約

本論文は、DSM基準に基づく連鎖的思考プロンプトを用いたLLM、ツイートセレクター、画像ディスクリプターを活用してソーシャルメディアからうつ病を診断し、パーソナライズされた対話ベースの指導を提供する、説明可能でインタラクティブなうつ病検知システム“Chat-Diagnose”。

ABSTRACT

This paper proposes a new depression detection system based on LLMs that is both interpretable and interactive. It not only provides a diagnosis, but also diagnostic evidence and personalized recommendations based on natural language dialogue with the user. We address challenges such as the processing of large amounts of text and integrate professional diagnostic criteria. Our system outperforms traditional methods across various settings and is demonstrated through case studies.

研究の動機と目的

• ソーシャルメディア上のうつ病検出を過小診断されがちな公衆衛生上の問題として動機づけ、 binary分類を超えて説明とインタラクティブな指導を提供する。
• LLMベースの診断を専門的な基準（DSM）とユーザー内容に基づいて解釈可能性を確保するエンドツーエンドのシステムを開発する。
• 長い文脈と多模态データに対処するため、LLMsへテキスト関連情報を供給するツイートセレクターと画像記述子を導入する。
• IIDおよびOOD設定で、全データ・Few-shot・Zero-shotの各レジームでシステムの性能を示す。
• ケーススタディと対話駆動の推奨を通じて説明可能性と対話性を示す。

提案手法

• 専門的診断基準（DSM）をLLMプロンプトに組み込み、診断を地固めする。
• 連鎖思考（CoT）デモンストレーションを用いて推論を可能にし、診断証拠を生成する。
• テキスト入力前に投稿の manageableなサブセットをランダム・最近・感情ベースでサンプリングするツイートセレクターを導入する。
• OCRと画像キャプション（Image Descriptor）で画像をテキスト化し、多模态処理を可能にする。
• 全データ設定で回答ヒューリスティックとして外部のベーシックなうつ病検出器を活用し、LLMの判断をガイドする。
• 診断とユーザー向け対話のためのプロンプト管理を備えたインタラクティブな対話モジュールを提供する。

Figure 1. User posts list is the input of the task. The sub-figure (a) shows that traditional methods only output the final diagnosis result. Our method in sub-figure (b) could provide a diagnosis result, diagnosis evidence and interactive dialogue.

実験結果

リサーチクエスチョン

• RQ1 LLMを活用したシステムは、DSM基準に根ざした解釈可能な診断証拠を提供できるのか。
• RQ2 CoT、専門基準、ツイートセレクターを組み込むと、IIDおよびOODデータで説明品質と診断精度は向上するのか。
• RQ3 異なるツイートセレクターと投稿数が、Zero-shot・Few-shot・Full-data設定の検出性能に与える影響はどの程度か。
• RQ4 さまざまなデータレジームにおいて異なるバックボーンLLM（GPT-3 vs. ChatGPT）でシステムはどう機能するのか。
• RQ5 対話型コンポーネントは、ユーザーのソーシャルメディア内容に沿ったパーソナライズされた推奨を生み出すのか。

主な発見

• Chat-Diagnoseシステムは、IIDおよびOOD評価においてFull-data、Few-shot、Zero-shot設定で最先端の性能を達成する。
• DSMベースの基準とCoTデモンストレーションを組み込むことでF1スコアが大幅に向上し、診断証拠の生成が可能になる。
• 感情ベースのツイートセレクターは、ネガティティを基準に投稿をランク付けすることでランダムおよび最近セレクターを上回る。
• 全データ設定で外部のベーシックなうつ病検出器を回答ヒューリスティックとして用いると性能が向上し、分布シフトに対するロバスト性が安定する。
• アブレーションにより、A（回答ヒューリスティック）、CoT、基準、デモンストレーションを削除すると性能が低下し、特にCoTまたはDSM基準を削除すると大幅な低下が見られる。
• TMDD（Twitter）とWU3D（Weibo）全体での実験は、堅牢性と説明性・対話性の改善を示し、対話とパーソナライズドアドバイスのケーススタディを含む。

Figure 2. The framework of our Chat-Diagnose system.