[논문 리뷰] Helping the Helper: Supporting Peer Counselors via AI-Empowered Practice and Feedback

Shang-Ling Hsu, Raj Sanjay Shah외 5명|arXiv (Cornell University)|2023. 05. 15.

Digital Mental Health Interventions인용 수 10

한 줄 요약

CARE은 실시간으로 적합한 Motivational Interviewing 전략을 예측하고 예시 응답을 생성하여 피어 카운슬러를 지원하는 대화형 AI 도구이며, 정량적 로그와 정성적 사용자 연구를 통해 평가된다.

ABSTRACT

Millions of users come to online peer counseling platforms to seek support. However, studies show that online peer support groups are not always as effective as expected, largely due to users' negative experiences with unhelpful counselors. Peer counselors are key to the success of online peer counseling platforms, but most often do not receive appropriate training.Hence, we introduce CARE: an AI-based tool to empower and train peer counselors through practice and feedback. Concretely, CARE helps diagnose which counseling strategies are needed in a given situation and suggests example responses to counselors during their practice sessions. Building upon the Motivational Interviewing framework, CARE utilizes large-scale counseling conversation data with text generation techniques to enable these functionalities. We demonstrate the efficacy of CARE by performing quantitative evaluations and qualitative user studies through simulated chats and semi-structured interviews, finding that CARE especially helps novice counselors in challenging situations. The code is available at https://github.com/SALT-NLP/CARE

연구 동기 및 목표

• 온라인 피어 카운슬러를 위한 효과적인 교육의 확장성 문제를 해결한다.
• 인간 카운슬러를 대체하지 않으면서 초보자에게 실시간 및 맥락 인식 AI 지원을 제공한다.
• 시스템을 Motivational Interviewing (MI) 전략과 대규모 상담 데이터에 기반한다.
• 정량적 시스템 로그와 정성적 사용자 연구를 통해 CARE의 효능을 입증한다.

제안 방법

• 채팅에서 다섯 개의 가장 최근 발화를 바탕으로 가장 적합한 MI 전략을 예측하기 위해 이진 분류기(BERT 기반)를 학습한다.
• 예측된 MI 전략에 따라 DialoGPT 기반 생성기를 조건화하여 상황당 최대 세 개의 예시 응답을 생성한다.
• 안전성을 보장하기 위해 HateBERT 기반의 부적절 콘텐츠 분류기로 생성 응답을 필터링한다.
• 7 Cups를 모사한 프런트엔드 인터페이스와 백엔드 모델을 통합하여 학습 채팅 중 실시간 제안을 가능하게 한다.
• 학습, 검증 및 평가를 위해 7 Cups 데이터셋(7C-HQ, 7C-MI)을 활용하고, 시스템 로그, 설문지, 비구조화된 인터뷰를 통해 평가한다.

Figure 1 . Example interface of CARE to empower supporters by (1) diagnosing which skill to use and (2) suggesting responses.

실험 결과

연구 질문

• RQ1 CARE가 시뮬레이션된 교육 채팅에서 피어 카운슬러 응답의 품질과 유용성을 향상시키는가?
• RQ2 BERT 기반 분류기가 주어진 대화 맥락에서 적절한 MI 전략을 얼마나 정확하게 예측할 수 있는가?
• RQ3 전략 조건화 생성 모델(DialoGPT-2, GPT-2, BART)이 적절하고 안전한 예시 응답을 생성하는 데 어떤 성능을 보이는가?
• RQ4 초보자 및 숙련 피어 카운슬러 사이에서 CARE의 인식된 유용성과 사용성은 어떤가?

주요 결과

• MI-전략 분류기가 테스트 세트 7C-MI에서 전체 F1 점수 0.705를 상회한다.
• 예측된 전략으로 조건화된 DialoGPT-2가 생성 태스크에서 GPT-2 및 BART보다 우수하며 의미 유사도(BERTScore)가 0.87 이상이고 의도된 전략과의 일치도가 약 78%(Positive)이다.
• HateBERT를 이용한 안전 필터가 7C-MI 테스트 세트에서 F1 점수 84.21%를 달성하여 부적절 콘텐츠에 대한 높은 재현율을 나타낸다.
• 생성 품질은 전략에 따라 달라지며 Grounding, Open Questions, Introduction에서 양성 비율이 높고 Reflection, Persuade, Affirm에서 낮다.
• 이 시스템은 훈련 및 시뮬레이션 채팅용으로 설계되었으며 실시간 제안과 전면적인 인간 감독을 통해 사용 콘텐츠에 대한 카운슬러의 제어를 보장한다.

Figure 2 . CARE system architecture. CARE consists of 8 next-strategy predictors, one next-response generator, and one inappropriate response classifier. It predicts the probability distribution of the next counseling strategies and generates suggested responses for each confident strategy independe