[論文レビュー] DepreSym: A Depression Symptom Annotated Corpus and the Role of LLMs as Assessors of Psychological Markers

Anxo Pérez, Marcos Fernández-Pichel+2 more|arXiv (Cornell University)|Aug 21, 2023

Mental Health via WritingPsychology被引用数 3

ひとこと要約

本稿では、37の検索システムと専門家による人間評価者を統合したプーリング戦略を用い、21,580文の文に21のBeck Depression Inventory-II（BDI-II）症状に関連する関連性をアノテートしたデータセット、DepreSymを紹介する。GPT-4とChatGPTを潜在的なアノテーターとして評価した結果、GPT-4は中程度から高い一致度（kappa = 0.53）を示し、関連しない文をフィルタリングすることで人間のラベル付け作業を約68％削減可能であり、うつ症状検出のための効率的なハイブリッドアノテーションワークフローを可能にする。

ABSTRACT

Computational methods for depression detection aim to mine traces of depression from online publications posted by Internet users. However, solutions trained on existing collections exhibit limited generalisation and interpretability. To tackle these issues, recent studies have shown that identifying depressive symptoms can lead to more robust models. The eRisk initiative fosters research on this area and has recently proposed a new ranking task focused on developing search methods to find sentences related to depressive symptoms. This search challenge relies on the symptoms specified by the Beck Depression Inventory-II (BDI-II), a questionnaire widely used in clinical practice. Based on the participant systems' results, we present the DepreSym dataset, consisting of 21580 sentences annotated according to their relevance to the 21 BDI-II symptoms. The labelled sentences come from a pool of diverse ranking methods, and the final dataset serves as a valuable resource for advancing the development of models that incorporate depressive markers such as clinical symptoms. Due to the complex nature of this relevance annotation, we designed a robust assessment methodology carried out by three expert assessors (including an expert psychologist). Additionally, we explore here the feasibility of employing recent Large Language Models (ChatGPT and GPT4) as potential assessors in this complex task. We undertake a comprehensive examination of their performance, determine their main limitations and analyze their role as a complement or replacement for human annotators.

研究の動機と目的

• ソーシャルメディアにおけるうつ病検出のための、細分化された症状レベルのアノテート済みデータの不足を解消すること。
• 一般的な言語的マーカーではなく、臨床的に関連するうつ症状に焦点を当てることで、モデルの解釈可能性と一般化性能を向上させること。
• GPT-4 や ChatGPT などの大規模言語モデル（LLM）が、複雑な関連性アノテーションタスクにおいて評価者としての可能性を有するかどうかを評価すること。
• 専門心理学者を含む複数のアノテーターによる評価手法を確立し、高品質な真値を保証すること。
• LLMを用いて関連しない文を事前にフィルタリングするハイブリッドアノテーション戦略を提案し、人的作業負荷を軽減しながら品質を維持すること。

提案手法

• CLEF 2023 eRisk Lab タスクに参加した37の異なるランクイングシステムから候補文のプールを構築した。
• 3名の専門家アノテーター（うち1名はライセンスを保有する心理学者）を用い、文の内容が明示的かつ症状固有のものであるかに基づき、関連あり／関連なしをラベル付けした。
• 関連性を、トピック的整合性とBDI-II症状に関連する個人の状態の明示的記述の両方を満たすものとして定義した。
• 形式的なアノテーションガイドラインを適用し、CohenのkappaとKrippendorffのalphaを用いた評価者間一致度分析を実施した。
• GPT-4とChatGPTを自動評価者として評価し、人間のコンSENSUS結果と比較した。
• LLMが関連しない文を事前にフィルタリングするハイブリッドラベル付け戦略を提案し、人的アノテーターの負担を約68％削減した。

実験結果

リサーチクエスチョン

• RQ1 GPT-4 や ChatGPT などの大規模言語モデルが、うつ症状の関連性をラベル付けするタスクで人間の専門家と十分な一致度を達成できるか。
• RQ2 臨床的熟練度の異なる人間のアノテーター間での評価者間一致度はどのように変動するか。
• RQ3 LLMを用いることで、最終データセットの品質を損なわずに人的アノテーション作業をどの程度削減できるか。
• RQ4 単一アノテーターによる判断に基づくシステムランク付けと公式のコンセンサスベースのランク付けとの違いは何か。
• RQ5 LLMをフィルタとして用いたハイブリッドアノテーションパイプラインは、臨床的症状アノテート済みデータセット作成における効率性とスケーラビリティを向上させられるか。

主な発見

• GPT-4は人間アノテーターとの中央値としてCohenのkappaが0.53を示し、中程度から良好な一致度を示した。一方、ChatGPTは0.31にとどまり、信頼性が低いことが示された。
• 心理学者は最高の評価者間一致度（kappa = 0.54）を示し、公式コンセンサスランクとの相関（Kendall’s τ = 0.98）も最も強かった。
• GPT-4は公式システムランクとの相関が高く（τ = 0.86、τ_ap = 0.81）あり、個々の人間アノテーターを上回り、コンセンサスレベルの信頼性に近づいていた。
• GPT-4を事前フィルタとして使用することで、人的ラベル付け作業を約68％削減可能であり、21,580文のデータセットでは1人のアノテーターあたり約49時間の作業時間を節約できると推定された。
• 強力な性能を示したが、LLMは依然として顕著な偽陽性を生成しており、人間の専門家に完全に置き換えることはできないが、初期スクリーニングツールとして効果的であることが示された。
• これらの結果は、LLMが関連しない文をフィルタリングし、人的アノテーターが高可能性の候補にのみ集中できるハイブリッドアノテーション戦略が、効率性とスケーラビリティの両面で有効であることを支持する。