[논문 리뷰] DepreSym: A Depression Symptom Annotated Corpus and the Role of LLMs as Assessors of Psychological Markers

Anxo Pérez, Marcos Fernández-Pichel외 2명|arXiv (Cornell University)|2023. 08. 21.

Mental Health via WritingPsychology인용 수 3

한 줄 요약

이 논문은 37개의 검색 시스템과 전문가 인간 평가자로부터 유출된 풀링 전략을 통해 21,580개의 문장을 21개의 베크 우울증 검사-II(BDI-II) 증상에 대해 관련성에 대해 주석 처리한 DepreSym 데이터셋을 소개한다. GPT-4와 ChatGPT를 잠재적 평가자로 평가한 결과, GPT-4는 중간에서 높은 일致도(kappa = 0.53)를 보이며 비관련 문장을 걸러내는 데 성공하여 인간 레이블링 작업량을 약 68% 감소시켰고, 이는 우울증 증상 탐지에 있어 효율적인 하이브리드 레이블링 워크플로우를 가능하게 한다.

ABSTRACT

Computational methods for depression detection aim to mine traces of depression from online publications posted by Internet users. However, solutions trained on existing collections exhibit limited generalisation and interpretability. To tackle these issues, recent studies have shown that identifying depressive symptoms can lead to more robust models. The eRisk initiative fosters research on this area and has recently proposed a new ranking task focused on developing search methods to find sentences related to depressive symptoms. This search challenge relies on the symptoms specified by the Beck Depression Inventory-II (BDI-II), a questionnaire widely used in clinical practice. Based on the participant systems' results, we present the DepreSym dataset, consisting of 21580 sentences annotated according to their relevance to the 21 BDI-II symptoms. The labelled sentences come from a pool of diverse ranking methods, and the final dataset serves as a valuable resource for advancing the development of models that incorporate depressive markers such as clinical symptoms. Due to the complex nature of this relevance annotation, we designed a robust assessment methodology carried out by three expert assessors (including an expert psychologist). Additionally, we explore here the feasibility of employing recent Large Language Models (ChatGPT and GPT4) as potential assessors in this complex task. We undertake a comprehensive examination of their performance, determine their main limitations and analyze their role as a complement or replacement for human annotators.

연구 동기 및 목표

• 소셜 미디어에서의 우울증 탐지에 있어 세분화된 증상 수준의 주석 처리된 데이터의 부족을 해결하기 위해.
• 일반적인 언어적 지표가 아닌 임상적으로 관련성이 있는 우울증 증상에 초점을 맞춤으로써 모델의 해석 가능성과 일반화 능력을 향상시키기 위해.
• 대규모 언어 모델(LLM)인 GPT-4와 ChatGPT가 복잡한 관련성 주석 처리 작업에서 평가자로 사용 가능한지의 가능성을 평가하기 위해.
• 전문 정신건강 전문가 심리학자들과 함께 고품질의 기준 레이블을 확보하기 위한 강력한 다중 평가자 평가 방법론을 개발하기 위해.
• LLM이 비관련 문장을 사전에 걸러내는 방식으로 인간의 작업 부담을 줄이면서도 품질을 유지할 수 있는 하이브리드 주석 전략을 제안하기 위해.

제안 방법

• CLEF 2023 eRisk 랩 태스크에 참가한 37개의 별도 랭킹 시스템으로부터 후보 문장의 풀링 세트를 구성하였다.
• 세 명의 전문 평가자—중 한 명은 자격을 취득한 심리학자—가 명시적이고 증상 중심의 내용에 기반해 문장이 관련이 있는지 여부를 주석 처리하였다.
• 관련성은 주제적 일치성과 BDI-II 증상과 관련된 개인의 상태에 대한 명시적 언급의 두 가지 기준으로 정의하였다.
• 공식적인 주석 가이드라인을 적용하고 코HEN의 카파 및 크립펜도프의 알파를 사용해 평가자 간 일致도 분석을 수행하였다.
• GPT-4와 ChatGPT를 자동 평가자로 평가하기 위해 인간 공감의 예측 결과와 비교 분석을 수행하였다.
• LLM이 비관련 문장을 사전에 걸러내는 방식으로 인간 주석자들의 부담을 약 68% 감소시키는 하이브리드 주석 전략을 제안하였다.

실험 결과

연구 질문

• RQ1 GPT-4와 ChatGPT와 같은 대규모 언어 모델이 우울증 증상 관련성에 대해 문장을 주석 처리하는 데 있어 인간 전문가와 충분한 일致도를 달성할 수 있는가?
• RQ2 임상 전문 지식 수준이 다른 인간 평가자 간의 평가자 간 일致도는 어떻게 변동하는가?
• RQ3 LLM이 최종 데이터셋의 품질을 훼손하지 않으면서 인간 주석 작업량을 얼마나 줄일 수 있는가?
• RQ4 단일 평가자 기반의 시스템 랭킹은 공식적인 공감 기반 랭킹과 어떻게 비교되는가?
• RQ5 LLM을 필터로 사용하는 하이브리드 주석 파이프라인은 임상 증상 주석 처리 데이터셋을 제작하는 데 있어 효율성과 확장성을 향상시킬 수 있는가?

주요 결과

• GPT-4는 인간 평가자와 중간에서 높은 일致도를 보이며 중간 카파 값 0.53을 기록했고, ChatGPT는 0.31을 기록하여 낮은 신뢰도를 보였다.
• 심리학자는 가장 높은 평가자 간 일致도(kappa = 0.54)를 기록했으며 공식 공감 랭킹과 가장 강한 상관관계(Kendall’s τ = 0.98)를 보였다.
• GPT-4는 공식 시스템 랭킹과 높은 상관관계(τ = 0.86, τ_ap = 0.81)를 보였으며, 개별 인간 평가자보다 뛰어나고 공감 수준의 신뢰도에 가까워졌다.
• GPT-4를 사전 필터로 사용할 경우 인간 레이블링 작업량을 약 68% 감소시킬 수 있었고, 21,580개 문장의 데이터셋에서 평균 각 인간 주석자당 약 49시간의 시간 절감이 기대되었다.
• 강력한 성능에도 불구하고 LLM은 여전히 상당한 수의 가짜 양성 결과를 생성하고 있어, 아직 인간 전문가의 완전한 대체 수단은 아니지만 초기 스크리닝 도구로 효과적임을 시사한다.
• 결과적으로 LLM이 비관련 문장을 걸러내고 인간 전문가가 높은 잠재력이 있는 후보 문장들에만 집중할 수 있도록 하는 하이브리드 주석 전략이 효율성과 확장성 향상에 기여함을 뒷받침한다.