[논문 리뷰] Towards Automated Real-time Evaluation in Text-based Counseling

Anqi Li, Jingsong Ma외 4명|arXiv (Cornell University)|2022. 03. 07.

Digital Mental Health Interventions인용 수 4

한 줄 요약

이 논문은 실시간 상담 상호작용 품질 평가를 가능하게 하기 위해 세분화된 코드 체계(CRETCS)로 주석 처리된 675개의 중국어 텍스트 기반 상담 전사본으로 구성된 새로운 벤치마크 데이터셋을 제안한다. 레이블이 부여된 데이터와 레이블이 없는 데이터를 모두 활용한 다단계 미사전학습을 거친 BERT 기반 모델을 사용하여, 검증, 무시, 위험 수준 등의 카테고리로 클라이언트 반응을 분류하는 데 실용적인 성능을 달성하였으며, 이는 기계 학습을 통한 실시간 상담 품질 모니터링의 가능성을 입증한다.

ABSTRACT

Automated real-time evaluation of counselor-client interaction is important for ensuring quality counseling but the rules are difficult to articulate. Recent advancements in machine learning methods show the possibility of learning such rules automatically. However, these methods often demand large scale and high quality counseling data, which are difficult to collect. To address this issue, we build an online counseling platform, which allows professional psychotherapists to provide free counseling services to those are in need. In exchange, we collect the counseling transcripts. Within a year of its operation, we manage to get one of the largest set of (675) transcripts of counseling sessions. To further leverage the valuable data we have, we label our dataset using both coarse- and fine-grained labels and use a set of pretraining techniques. In the end, we are able to achieve practically useful accuracy in both labeling system.

연구 동기 및 목표

• 실시간 텍스트 기반 심리 상담 평가를 위한 대규모 고품질 데이터셋의 부족을 해결하기 위해.
• 치료 세션 중 클라이언트 반응과 경험 유형을 포괄적으로 포착할 수 있는 신뢰할 수 있는 코드 체계(CRETCS)를 개발하기 위해.
• 제한된 주석 데이터로도 고급 NLP 모델이 상담사-클라이언트 상호작용 품질을 실시간으로 자동 평가할 수 있는지 조사하기 위해.
• 저자원 상담 NLP 작업에서 모델 성능을 향상시키는 데 효과적인 미사전학습 전략을 탐색하기 위해.

제안 방법

• CBT, 내러티브, 심리역동적 접근 방식을 사용한 전문 상담사들로부터 675건의 실제 상담 전사본을 수집하기 위해 온라인 무료 상담 플랫폼을 구축하였다.
• CRETCS 코드 체계를 사용하여 4,786개의 샘플을 주석 처리하였으며, 이는 클라이언트 반응을 일반적인(예: 검증, 무시) 및 세분화된(예: 안전, 내성적 위험, 불가피한 위험) 카테고리로 분류한다.
• 두 단계의 미사전학습 전략을 적용: 먼저 일반 텍스트에서, 그 다음에 레이블이 없는 상담 데이터와 소규모 레이블이 부여된 데이터 세트를 활용하여 모델을 도메인에 적합시켰다.
• 주석이 부여된 데이터셋을 사용하여 BERT 기반 모델을 다듬어 일반적이고 세분화된 분류 작업을 수행하도록 훈련시켰다.
• 실패 모드를 규명하기 위해 광범위한 추상화 연구와 오류 분석을 수행하였으며, 특히 언어적 특징이 유사한 레이블 간 혼동(예: 'yes' vs. 'not'에 의한 검증 vs. 무시)이 주요 문제로 나타났다.

실험 결과

연구 질문

• RQ1 제한된 주석 데이터로도 기계 학습 모델이 실시간 텍스트 기반 상담 중 클라이언트 반응을 실용적으로 분류할 수 있는가?
• RQ2 특히 레이블이 없는 상담 데이터와 레이블이 부여된 데이터를 모두 활용한 다단계 미사전학습 전략은 저자원 치료 NLP 작업에서 모델 성능 향상에 얼마나 효과적인가?
• RQ3 모델의 주요 실패 모드는 무엇이며, 언어적 유사성(예: 'yes' vs. 'not')이 레이블 간 혼동에 미치는 영향은 어떠한가?
• RQ4 데이터 불균형과 간섭 전략 지식의 부족은 세분화된 위험 카테고리 분류 성능에 어느 정도 영향을 미치는가?

주요 결과

• 제안된 이중 단계 미사전학습 전략은 모델 성능을 크게 향상시켰으며, 두 번째 미사전학습 단계에서 일반적이고 세분화된 분류 작업 모두에서 측정 가능한 성능 향상을 기록하였다.
• 무시 카테고리에서 F1 점수 0.51을 기록하였으며, 이는 'not'과 'no'와 같은 언어적 신호로 인해 부정적 반응로 잘못 분류되는 경우가 많아 가장 도전적인 카테고리였기 때문이다.
• 세분화된 레이블 중에서 가장 어려운 레이블은 실 interest(F1=0.26)와 불가피한 위험(F1=0.47)이었으며, 주로 데이터 불균형과 BERT 입력에서의 대화 맥락 제한으로 인해 발생했다.
• 안전과 내성적 위험 사이의 혼동이 흔했으며, 이는 모델이 상담사의 간섭 전략 지식가 부족하여 유사한 대화 구조에도 불구하고 잘못 분류된 결과였다.
• 기타 레이블은 다른 카테고리와 비교해 의미적 및 구조적 특성이 뚜렷하여 가장 쉽게 분류되었다.
• 도전 과제가 있었음에도 불구하고, 결과는 철저한 데이터 정제와 미사전학습 전략을 통해 고급 NLP 방법론이 실시간 상담 품질 평가에 효과적으로 적용될 수 있음을 입증한다.