[논문 리뷰] Cognitive Reframing of Negative Thoughts through Human-Language Model Interaction

A. Sharma, Kevin Rushton외 6명|arXiv (Cornell University)|2023. 05. 04.

Mental Health via Writing인용 수 6

한 줄 요약

이 논문은 임상 심리학에서 정의한 일곱 가지 전문가 기반 언어적 특성(예: 공감, 구체성, 이성성)을 바탕으로 언어 모델을 사용해 개인화되고 고도로 향상된 부정적 사고의 인지 재구성(재구성된 사고)을 생성하는 리트리ieval 기반의 인-컨텍스트 학습 모델을 제안한다. 미국 정신건강협회에서 실시한 2,067명의 참가자 대상 무작위 현장 연구에서, 과도하게 긍정적인 것보다 공감적이고 특정적인 재구성된 사고가 더 선호되었으며, 이는 LMs를 통한 윤리적이고 접근 가능한 정신건강 지원을 위한 실질적인 통찰을 제공한다.

ABSTRACT

A proven therapeutic technique to overcome negative thoughts is to replace them with a more hopeful "reframed thought." Although therapy can help people practice and learn this Cognitive Reframing of Negative Thoughts, clinician shortages and mental health stigma commonly limit people's access to therapy. In this paper, we conduct a human-centered study of how language models may assist people in reframing negative thoughts. Based on psychology literature, we define a framework of seven linguistic attributes that can be used to reframe a thought. We develop automated metrics to measure these attributes and validate them with expert judgements from mental health practitioners. We collect a dataset of 600 situations, thoughts and reframes from practitioners and use it to train a retrieval-enhanced in-context learning model that effectively generates reframed thoughts and controls their linguistic attributes. To investigate what constitutes a "high-quality" reframe, we conduct an IRB-approved randomized field study on a large mental health website with over 2,000 participants. Amongst other findings, we show that people prefer highly empathic or specific reframes, as opposed to reframes that are overly positive. Our findings provide key implications for the use of LMs to assist people in overcoming negative thoughts.

연구 동기 및 목표

• 임상 심리학에서 유래한 언어 기반 특성들을 바탕으로 효과적인 인지 재구성의 특징을 기술하는 프레임워크를 개발하는 것.
• 공감, 구체성, 이성성 등 일곱 가지 핵심 재구성 특성에 대한 자동화된 메트릭스를 개발하고 정신건강 전문가의 평가와의 상관관계를 검증하는 것.
• 훈련 및 평가를 위해 600건의 전문가가 애너테이션한 상황, 생각, 재구성된 생각의 데이터셋을 수집 및 배포하는 것.
• 목표로 하는 언어적 특성들이 생성된 재구성된 사고에 영향을 미치도록 제어할 수 있는 리트리ieval 기반의 인-컨텍스트 학습 모델을 설계 및 구현하는 것.
• 국립 정신건강 플랫폼에서 IRB 승인을 받은 실생활 현장 연구를 통해 사용자가 선호하는 재구성 특성은 무엇인지 평가하는 것.

제안 방법

• 임상 심리학에서 유래한 일곱 가지 언어적 특성(사고 오류 대응, 이성성, 긍정성, 공감, 실행 가능성, 구체성, 가독성)을 기반으로 한 인지 재구성의 개념적 프레임워크를 개발하였다.
• 정신건강 전문가의 애너테이션과의 상관관계를 검증하기 위해 자연어 처리 기법을 활용해 각 특성에 대한 자동화된 메트릭스를 개발하였다.
• 임상 심리학 대학원생 및 전문가들로부터 실제 세계의 상황, 부정적 사고, 전문가가 제안한 재구성된 사고 600건의 데이터셋을 수집하였다.
• 관련 예시를 검색하고 프롬프트 템플릿을 피지컬 튜닝하여 목표 언어적 특성들이 생성된 재구성된 사고에 영향을 미치도록 제어하는 리트리ieval 기반의 인-컨텍스트 학습 모델을 구축하였다.
• 2,067명의 참가자 대상으로 무작위 현장 연구를 통해 미국 정신건강협회의 플랫폼에 모델을 배포하였으며, 다양한 특성 수준을 가진 재구성된 사고를 비교하였다.
• 참가자 동의 및 익명화 프로토콜을 포함한 안전 조치를 구현하였으며, 정규표현식 패턴을 사용해 자살 생각을 필터링하고 위기 지원 리소스 링크를 제공하였다.

실험 결과

연구 질문

• RQ1 부정적 사고를 경험하는 개인들이 가장 선호하는 재구성된 사고의 언어적 특성들은 무엇인가?
• RQ2 다른 특성 수준(예: 높은 공감 vs. 낮은 공감)은 재구성된 사고의 공감대 형성 가능성, 유용성, 기억 가능성에 어떤 영향을 미치는가?
• RQ3 자동화된 메트릭스는 임상적으로 관련 있는 재구성 특성을 신뢰성 있게 측정할 수 있는가? 그리고 전문가 평가와의 상관관계는 어떠한가?
• RQ4 리트리ieval 기반의 인-컨텍스트 학습 접근 방식은 표준 LLM 베이스라인에 비해 높은 품질의, 특성 제어가 가능한 재구성된 사고 생성에서 더 우수한 성능을 보이는가?
• RQ5 실생활 정신건강 지원 시스템에 LMs를 배포함에 있어 윤리적 및 실용적 고려사항은 무엇인가?

주요 결과

• 참가자들은 과도하게 긍정적이거나 일반적인 것보다 공감적 또는 특정적인 재구성된 사고를 더 선호하였다.
• 리트리ieval 기반의 인-컨텍스트 학습 모델은 전문가가 제안한 재구성된 사고와 가장 높은 일치도를 보였으며, 정신건강 전문가들로부터 공감대 형성 가능성과 유용성에 대해 가장 높은 평가를 받았다.
• 일곱 가지 재구성 특성에 대한 자동화된 메트릭스는 전문가 평가와 유의미한 상관관계를 보였으며, 구성 타당성을 입증하였다.
• 2,067명의 참가자 대상 현장 연구를 통해 개인화되고 맥락에 맞는 재구성된 사고가 일반적이거나 인위적으로 긍정적인 것보다 더 효과적임을 확인하였다.
• 정규표현식을 통한 자살 생각 필터링 및 위기 지원 리소스 링크 제공과 같은 안전 조치는 유해한 출력의 위험을 효과적으로 줄였으며, 사용성에 영향을 주지 않았다.
• 본 연구는 실시간으로 AI가 지원하는 인지 재구성 기술이 국립 정신건강 플랫폼에서 대규모로 효과적이고 윤리적으로 구현될 수 있음을 입증하였다.