[논문 리뷰] Towards Automated Psychotherapy via Language Modeling

Houjun Liu|arXiv (Cornell University)|2021. 04. 05.

Mental Health via Writing인용 수 5

한 줄 요약

이 연구는 코니엘 영화 대화 코퍼스와 더 작은 오픈소스 정신치료 대화 데이터셋에서의 전이 학습을 통해, 정신치료사-환자 텍스트 대화를 자동화하기 위한 최적화된 트랜스포머 기반 언어 모델을 제안한다. 모델은 응답 품질 지수에서 59.7%의 경우 인간 수준의 응답 품질을 달성했으며, 튜링 스타일의 '로봇을 식별하라' 평가에서 67.16%의 경우 인간 성능과 동일하거나 이를 초월하여, 낮은 스테이그마 감소와 임상 업무량 감소 잠재력을 입증한다.

ABSTRACT

In this experiment, a model was devised, trained, and evaluated to automate psychotherapist/client text conversations through the use of state-of-the-art, Seq2Seq Transformer-based Natural Language Generation (NLG) systems. Through training the model upon a mix of the Cornell Movie Dialogue Corpus for language understanding and an open-source, anonymized, and public licensed psychotherapeutic dataset, the model achieved statistically significant performance in published, standardized qualitative benchmarks against human-written validation data - meeting or exceeding human-written responses' performance in 59.7% and 67.1% of the test set for two independent test methods respectively. Although the model cannot replace the work of psychotherapists entirely, its ability to synthesize human-appearing utterances for the majority of the test set serves as a promising step towards communizing and easing stigma at the psychotherapeutic point-of-care.

연구 동기 및 목표

• 최신 자연어 생성 기술을 활용해 자동화되고, 스테이그마가 낮으며, 즉각적인 정신치료 응답을 제공하는 시스템을 개발한다.
• 일반 목적의 대화 코퍼스에서의 전이 학습을 활용하여, 고품질의 공개 가능한 정신치료 대화 데이터의 부족 문제를 해결한다.
• 표준화된 인간 코딩 품질 지표와 튜링 스타일 평가를 사용해 모델의 성능을 인간이 작성한 응답과 비교 평가한다.
• 신경 언어 모델이 자원이 부족한 환경에서 실생활 정신건강 지원을 대규모로 보조할 수 있는 가능성 탐색

제안 방법

• 코니엘 영화 대화 코퍼스에서의 사전 훈련과 더불어, 더 작은 익명화된 정신치료 데이터셋에서의 지속적 훈련을 통해, 순서-순서 트랜스포머 기반 언어 모델을 최적화한다.
• 일반 대화 데이터와 정신치료 전용 데이터를 점진적으로 혼합하여 훈련 안정성과 도메인 적응을 향상시키기 위해 '트리거-다운' 데이터 공급 메커니즘을 활용한다.
• 자기주의 주의 메커니즘을 포함한 수정된 인코더-디코더 아키텍처를 사용해 정신치료사-환자 상호작용의 맥락적 종속성을 포착한다.
• 생성된 응답의 유창성, 공감 능력, 임상적 관련성을 인간 기준 응답과 비교해 정량적으로 평가하기 위해 응답 품질 지수(RQI)를 적용한다.
• 모델 생성 응답의 인간 유사성을 평가하기 위해 블라인드 인간 평가자들이 모델 출력과 인간 출력을 구분하는 '로봇을 식별하라' 튜링 평가를 실시한다.
• 혼합 데이터셋을 사용해 모델을 수렴까지 훈련시키며, 134개의 인간이 작성한 프롬프트-응답 쌍으로 구성된 보류 테스트 세트에서 평가를 수행한다.

실험 결과

연구 질문

• RQ1 최적화된 트랜스포머 기반 언어 모델이 품질과 자연스러움 면에서 인간이 작성한 응답과 구분되지 않는 정신치료 응답을 생성할 수 있는가?
• RQ2 일반 대화 코퍼스에서의 전이 학습이 자원이 제한된 정신치료 대화 생성 성능에 얼마나 기여하는가?
• RQ3 표준화된 인간 코딩 지표인 응답 품질 지수(RQI)를 사용했을 때, 모델의 응답 품질은 인간 응답과 비교해 어떠한가?
• RQ4 블라인드 튜링 스타일 평가에서 모델 생성 응답 중 인간 응답과 동일하거나 뛰어난 것으로 평가된 비율은 얼마인가?
• RQ5 모델은 정신치료 맥락에서 공감 능력이 있으며, 맥락적으로 적절하고 임상적으로 관련성이 있는 응답을 생성하는 데 있어 일반화 능력이 있는가?

주요 결과

• 응답 품질 지수(RQI)에 따르면, 모델은 테스트 케이스의 59.7%에서 인간 수준의 성능을 달성했다.
• '로봇을 식별하라' 튜링 평가에서, 모델은 테스트 세트의 67.16%에서 인간 성능과 동일하거나 이를 초월했다. 이는 강력한 인간 유사성 잠재력을 시사한다.
• 인간 응답이 모델을 능가한 케이스 중에서 유의미한 차이(p < 0.05)를 보인 경우는 17.9%에 불과했으며, 대부분의 경우 성능 격차가 미미함을 시사한다.
• 모델은 20.9%의 경우에서 기계 생성임이 정확히 식별되었으며, 이는 약 5개 중 1개의 응답이 평가자들에 의해 비인간으로 인식되었음을 의미한다.
• 모델은 마르코프 가정 하에서도 다단계 대화를 일관되고 맥락적으로 관련 있는 방식으로 유지할 수 있었으며, 대화 예시를 통해 이를 입증했다.
• 코니엘 영화 대화 코퍼스에서의 전이 학습은 모델이 정신치료 도메인에서 자연스럽고, 공감 능력이 있으며 맥락적으로 적절한 응답을 생성하는 능력을 크게 향상시켰다.