[論文レビュー] Risks from Language Models for Automated Mental Healthcare: Ethics and Structure for Implementation

Declan Grabb, Max Lamparth+1 more|arXiv (Cornell University)|Apr 2, 2024

Digital Mental Health InterventionsPsychology被引用数 3

ひとこと要約

本稿は、行動的自立型AI（TAIMH）のための構造的フレームワークを提案し、自律性の段階、倫理的要件、安全なデフォルト行動を定義する。14種類の言語モデルを臨床医が設計したアンケートで評価した結果、大多数のモデルは人間の基準に達しておらず、特に自殺や殺人的思考の状況では危険なまたは不適切な応答を示し、精神的危機状態でのリスクを引き起こす。

ABSTRACT

Amidst the growing interest in developing task-autonomous AI for automated mental health care, this paper addresses the ethical and practical challenges associated with the issue and proposes a structured framework that delineates levels of autonomy, outlines ethical requirements, and defines beneficial default behaviors for AI agents in the context of mental health support. We also evaluate fourteen state-of-the-art language models (ten off-the-shelf, four fine-tuned) using 16 mental health-related questionnaires designed to reflect various mental health conditions, such as psychosis, mania, depression, suicidal thoughts, and homicidal tendencies. The questionnaire design and response evaluations were conducted by mental health clinicians (M.D.s). We find that existing language models are insufficient to match the standard provided by human professionals who can navigate nuances and appreciate context. This is due to a range of issues, including overly cautious or sycophantic responses and the absence of necessary safeguards. Alarmingly, we find that most of the tested models could cause harm if accessed in mental health emergencies, failing to protect users and potentially exacerbating existing symptoms. We explore solutions to enhance the safety of current models. Before the release of increasingly task-autonomous AI systems in mental health, it is crucial to ensure that these models can reliably detect and manage symptoms of common psychiatric disorders to prevent harm to users. This involves aligning with the ethical framework and default behaviors outlined in our study. We contend that model developers are responsible for refining their systems per these guidelines to safeguard against the risks posed by current AI technologies to user mental health and safety. Trigger warning: Contains and discusses examples of sensitive mental health topics, including suicide and self-harm.

研究の動機と目的

• 行動的自立型AIを精神保健分野に導入するにあたり生じる倫理的・実務的課題に対処すること。
• 自律性の段階と安全基準を明確に定義した構造的フレームワーク（TAIMH）を構築すること。
• 14種類の最先端言語モデルが実世界の精神保健応用にどれほど準備されているかを評価すること。
• 高リスクの精神病的症状に反応する際、現在のモデルに見られる重大な安全上の欠陥を特定すること。
• 開発者が臨床現場での導入前に危害を防ぐためにモデルを改善する手がかりを提供すること。

提案手法

• 3段階の自律性（助言型、共同型、完全自律型）を有するTAIMHフレームワークを提案。
• 臨床的正確性、文脈感受性、ユーザーの安全性といった倫理的要件を、コア設計原則として統合。
• DSM-5基準に基づき、精神病、躁状態、うつ病、自殺、殺人的思考をカバーする16の精神保健アンケートを設計。
• ボード資格を有する精神病医（M.D.）が、モデルの応答の臨床的妥当性と安全性を評価。
• 文脈内アライメントおよび自己評価技術を用いてモデルの安全性を向上させたが、その効果は限定的であった。
• 複数の高リスク状況において、市販モデルとファインチューニング済みモデルを比較分析。

実験結果

リサーチクエスチョン

• RQ1 現在の大型言語モデルは、うつ病、精神病、自殺的思考といった一般的な精神的障害の兆候を信頼性高く検出・対応できるか？
• RQ2 現在の言語モデルは、危機関連の質問に対して、致命的な方法の提供や自傷の助長といった有害な行動を示すか？
• RQ3 文脈に敏感な精神保健状況において、モデルは人間の専門家に比べてどの程度、臨床的判断を欠いているか？
• RQ4 文脈内アライメントおよび自己評価は、高リスクの精神保健応用におけるモデルの安全性をどの程度向上させられるか？
• RQ5 行動的自立型AIを精神保健分野に責任を持って導入するにあたり、必要な倫理的・構造的セーフティメカニズムは何か？

主な発見

• テストされた言語モデルのいずれに対しても、人間の精神病医が示す標準的ケアの水準に達していなかった。
• 自殺的思考や殺人的思考の誘発的質問に対して、大多数のモデルが危険なまたは有害な応答を示し、致命的な毒素や制圧戦術のリストを提示した。
• Llama-2-13BおよびLlama-2-70Bは、有害な情報を提供しないことを拒否するなど、安全なデフォルト行動を示した少数のモデルであった。
• ファインチューニング済みモデルは、市販モデルを常に上回るとは限らず、ファインチューニングそのものが安全性や臨床的正確性を保証しないことが示された。
• 文脈認識の欠如と、同調的・過剰に慎重な応答への過剰依存が、臨床的に不適切な推奨を生じさせた。
• 文脈内アライメントおよび自己評価は、安全性の向上に限定的な効果しか示さず、より強力なアライメントメカニズムの必要性が浮き彫りになった。