[論文レビュー] Towards Automated Psychotherapy via Language Modeling

Houjun Liu|arXiv (Cornell University)|Apr 5, 2021

Mental Health via Writing被引用数 5

ひとこと要約

本研究では、コロンビア映画対話コーパスとより小さなオープンソースの精神療法データセットからの転移学習を用いて、ファインチューニングされたトランスフォーマー基盤の言語モデルを提案し、精神科医とクライアントのテキスト対話を自動化する。モデルは応答品質インデックスにおいて59.7％のケースで人間水準の応答品質を達成し、Turingスタイルの「ボットを特定せよ」評価においては67.16％のケースで人間の性能を同等または上回った。これは、偏見の軽減と臨床業務負担の軽減の強力な可能性を示している。

ABSTRACT

In this experiment, a model was devised, trained, and evaluated to automate psychotherapist/client text conversations through the use of state-of-the-art, Seq2Seq Transformer-based Natural Language Generation (NLG) systems. Through training the model upon a mix of the Cornell Movie Dialogue Corpus for language understanding and an open-source, anonymized, and public licensed psychotherapeutic dataset, the model achieved statistically significant performance in published, standardized qualitative benchmarks against human-written validation data - meeting or exceeding human-written responses' performance in 59.7% and 67.1% of the test set for two independent test methods respectively. Although the model cannot replace the work of psychotherapists entirely, its ability to synthesize human-appearing utterances for the majority of the test set serves as a promising step towards communizing and easing stigma at the psychotherapeutic point-of-care.

研究の動機と目的

• 最先端の自然言語生成技術を用いて、自動的で、偏見が少なく、オンデマンドで利用可能な精神療法応答システムを開発すること。
• 一般対話コーパスからの転移学習を活用することで、高品質で公開可能な精神療法対話データの不足に取り組むこと。
• 標準化された、人間がコード付けした品質指標とTuringスタイルの評価を用いて、モデルの性能を人間が書いた応答と比較すること。
• 神経言語モデルを用いた実世界の精神的支援のスケーラブルな支援の可能性を検討すること、特にリソースが限られた環境において。

提案手法

• コロンビア映画対話コーパスで事前学習した後、より小さな匿名化された精神療法データセットで継続的に学習することで、シーケンス・トゥ・シーケンスのトランスフォーマー基盤言語モデルをファインチューニングした。
• 一般対話データと精神療法特化データを段階的に混合する「 trickle-down（たれ落ち）」データ供給メカニズムを採用し、学習の安定化とドメイン適応の向上を図った。
• 自己注意機構を備えた変更されたエンコーダ・デコーダアーキテクチャを用いて、精神科医とクライアントのやり取りにおける文脈的依存関係を捉えた。
• 生成された応答の流暢さ、共感性、臨床的関連性を人間が書いたゴールスタンダードと比較して定量的に評価するため、応答品質インデックス（RQI）を適用した。
• モデル生成応答の人間らしさを評価するために、「ボットを特定せよ」Turing評価を実施し、盲検された人間の評価者にモデル出力と人間出力を区別させた。
• 混合データセットを用いてモデルを収束まで学習させ、134組の人工的に書かれたプロンプト・応答ペアからなるホールドアウトテストセットで評価を行った。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングされたトランスフォーマー基盤の言語モデルは、品質と自然さにおいて人間が書いた応答と区別がつかない精神療法的応答を生成できるか？
• RQ2 一般対話コーパスからの転移学習は、リソースが限られた精神療法対話生成の性能をどの程度向上させるか？
• RQ3 標準化された人間がコード付けした指標、たとえば応答品質インデックス（RQI）において、モデルの応答品質は人間の応答と比べてどの程度か？
• RQ4 盲検Turingスタイル評価において、モデル生成応答のどの程度が人間の応答と同等または上回ると評価されたか？
• RQ5 モデルは、精神療法的文脈において、共感的で文脈的に適切で臨床的に関連性のある応答を生成する一般化能力をどの程度持っているか？

主な発見

• 応答品質インデックス（RQI）によると、モデルはテストケースの59.7％で人間水準の性能以上を達成した。
• 「ボットを特定せよ」Turing評価において、モデルはテストセットの67.16％で人間の性能を同等または上回った。これは、人間らしさが非常に高いことを示している。
• 人間の応答がモデルを上回ったケースにおいても、有意差（p < 0.05）を示したのはわずか17.9％にとどまり、大多数のケースで性能差がほとんどないことを示している。
• モデルは20.9％のケースで機械生成であると正しく特定された。これは、約20％の応答が評価者に非人間的と感じられたことを意味する。
• モデルはマルコフ的仮定下でも、複数ターンにわたって一貫性があり、文脈的に適切な対話を維持できた。会話例を通じてその有効性が示された。
• コロンビア映画対話コーパスからの転移学習は、精神療法分野において、流暢さ、共感性、文脈的適切さを備えた応答を生成する能力を顕著に向上させた。