[論文レビュー] Towards Automated Real-time Evaluation in Text-based Counseling

Anqi Li, Jingsong Ma+4 more|arXiv (Cornell University)|Mar 7, 2022

Digital Mental Health Interventions被引用数 4

ひとこと要約

本稿では、カウンセラーとクライアントの対話品質を自動的にリアルタイムで評価可能にするために、675件の中国語テキストベースのカウンセリングトランザクションを含む、細分化されたコーディングスキーム（CRETCS）でアノテートされた新規ベンチマークデータセットを提案する。無作為なデータおよびラベル付きデータを用いたマルチステージの事前学習を施したBERTベースのモデルを用いることで、クライアントの反応を「承認」「否認」「リスクレベル」などのカテゴリに分類するという実用的な性能を達成し、機械学習を用いたリアルタイムのカウンセリング品質監視の可能性を示している。

ABSTRACT

Automated real-time evaluation of counselor-client interaction is important for ensuring quality counseling but the rules are difficult to articulate. Recent advancements in machine learning methods show the possibility of learning such rules automatically. However, these methods often demand large scale and high quality counseling data, which are difficult to collect. To address this issue, we build an online counseling platform, which allows professional psychotherapists to provide free counseling services to those are in need. In exchange, we collect the counseling transcripts. Within a year of its operation, we manage to get one of the largest set of (675) transcripts of counseling sessions. To further leverage the valuable data we have, we label our dataset using both coarse- and fine-grained labels and use a set of pretraining techniques. In the end, we are able to achieve practically useful accuracy in both labeling system.

研究の動機と目的

• リアルタイムでのテキストベース心理カウンセリングの評価に向けた大規模かつ高品質なデータセットの不足に対処すること。
• カウンセリングセッション中のクライアントの反応や経験タイプを捉えるために、信頼性の高いコーディングスキーム（CRETCS）を開発すること。
• 限られたアノテート済みデータのもとで、高度なNLPモデルがカウンセラーとクライアントの対話品質をリアルタイムで自動評価できるかどうかを調査すること。
• 低リソースのカウンセリングNLPタスクにおいて、モデル性能を向上させる有効な事前学習戦略を探索すること。

提案手法

• 認知行動療法（CBT）、ナラティブ療法、精神動態的アプローチを用いたプロフェッショナルなカウンセラーが提供する675件の実際のカウンセリングトランザクションを収集するためのオンライン無料カウンセリングプラットフォームを構築した。
• 4,786件のサンプルを、粗い分類（例：承認、否認）および細かい分類（例：安全、許容可能なリスク、許容できないリスク）に分類するCRETCSコーディングスキームを用いてアノテートした。
• 2段階の事前学習戦略を適用：まず一般テキストで、次にラベルなしカウンセリングデータおよび少数のラベル付きデータを用いて、モデルをドメインに適応させた。
• アノテート済みデータセットを用いて、BERTベースのモデルを粗い分類および細かい分類タスクに微調整した。
• 失敗モードを特定するための広範なアブレーションスタディおよび誤差分析を実施した。特に、「承認」と「否認」のラベルに類似した言語的特徴（例：'yes' と 'not'）が原因で誤分類が生じやすいことが明らかになった。

実験結果

リサーチクエスチョン

• RQ1 限られたアノテート済みデータのもとで、機械学習モデルがリアルタイムのテキストベースカウンセリングにおけるクライアント反応を分類するという実用的な性能を達成できるか？
• RQ2 特にラベルなしおよびラベル付きカウンセリングデータを用いたマルチステージの事前学習は、低リソースの療法NLPタスクにおけるモデル性能を向上させるのにどの程度有効か？
• RQ3 モデルの主な失敗モードは何か？ また、'yes' と 'not' のような類似した言語的特徴を持つラベル（例：承認 vs. 否認）が分類精度にどのように影響するか？
• RQ4 データのアンバランスおよび干渉戦略に関する知識の欠如が、細分化されたリスク分類におけるモデル性能にどの程度影響を及えるか？

主な発見

• 提案された2段階の事前学習戦略は、モデル性能を顕著に向上させ、特に2番目の事前学習フェーズで粗い分類および細かい分類タスクの両方で測定可能な改善が得られた。
• 否認（Invalidation）カテゴリではF1スコアが0.51を達成したが、これは'not' や 'no' といった言語的キーワードが否定的反応として誤って分類されやすいという理由で、最も挑戦的だった。
• 細分化ラベルのうち、特に「無関心（Disinterest）」（F1=0.26）および「許容できないリスク（Intolerable Risk）」（F1=0.47）の分類でモデルが最も苦戦した。主な要因はデータのアンバランスおよびBERT入力における対話文脈の制限であった。
• 「安全（Safety）」と「許容可能なリスク（Tolerable Risk）」の間で誤分類が頻発したが、これはカウンセラーの干渉戦略に関する知識が不足していたため、対話構造が類似しているにもかかわらず誤分類が生じた。
• 「その他（Others）」のラベルは、他のカテゴリと比較して特徴的な意味的・構造的特徴を持つため、分類が最も簡単だった。
• 課題はあったが、結果として、注意深くデータをキュレーションし、事前学習を適切に実施することで、高度なNLP手法をリアルタイムのカウンセリング品質評価に効果的に応用できることが示された。