[논문 리뷰] DAIC-WOZ: On the Validity of Using the Therapist's prompts in Automatic Depression Detection from Clinical Interviews

Sergio Burdisso, Ernesto Reyes-Ramírez외 4명|arXiv (Cornell University)|2024. 04. 22.

Mental Health Research TopicsPsychology인용 수 3

한 줄 요약

이 논문은 자동 우울증 탐지에서 사용된 치료사 프롬프트로 인해 DAIC-WOZ 데이터셋에 발생하는 뜻하지 않은 편향을 조사한다. 제거 분석과 주의 분석을 통해 저자들은 모델들이 이러한 프롬프트를 분류적 단서로 악용하며 특정 정신건강 진단 질문에 집중함으로써 의도적으로 이 편향을 활용함으로써 0.90 F1 스코어를 달성함을 보여주며, 이는 실제 임상 환경에 대한 일반화 능력을 약화시킨다.

ABSTRACT

Automatic depression detection from conversational data has gained significant interest in recent years. The DAIC-WOZ dataset, interviews conducted by a human-controlled virtual agent, has been widely used for this task. Recent studies have reported enhanced performance when incorporating interviewer's prompts into the model. In this work, we hypothesize that this improvement might be mainly due to a bias present in these prompts, rather than the proposed architectures and methods. Through ablation experiments and qualitative analysis, we discover that models using interviewer's prompts learn to focus on a specific region of the interviews, where questions about past experiences with mental health issues are asked, and use them as discriminative shortcuts to detect depressed participants. In contrast, models using participant responses gather evidence from across the entire interview. Finally, to highlight the magnitude of this bias, we achieve a 0.90 F1 score by intentionally exploiting it, the highest result reported to date on this dataset using only textual information. Our findings underline the need for caution when incorporating interviewers' prompts into models, as they may inadvertently learn to exploit targeted prompts, rather than learning to characterize the language and behavior that are genuinely indicative of the patient's mental health condition.

연구 동기 및 목표

• 자신의 프롬프트를 사용한 자동 우울증 탐지에서 보고된 성능 향상이 진정한 진단 학습의 결과인지 아니면 데이터셋 편향의 결과인지 조사하기.
• 참가자 응답만을 사용한 모델과 비교해, 치료사 프롬프트를 포함한 모델이 주의 분배 방식에서 어떻게 다른지 분석하기.
• 기존 연구에서의 높은 성능이 의미 있는 정신건강 지표를 학습하는 것이 아니라, 프롬프트 내 국소적 편향을 악용함으로써 비롯된다는 것을 입증하기.
• 실제 임상 AI 시스템에서 이러한 편향된 신호에 의존할 경우 발생할 수 있는 윤리적 및 실무적 위험을 제기하기.
• 프롬프트 기반 단서 학습을 고려한 더 견고한 평가 프로토콜을 정착시키기 위한 주장 제기하기.

제안 방법

• 참가자 응답만을 사용한 모델와 치료사 프롬프트를 포함한 모델를 비교한 제거 분석을 수행함.
• 추론 중 모델의 집중 영역을 분석하기 위해 주의 시각화 기법을 사용함.
• 정신건강 진단 질문에 대한 응답을 강조함으로써 프롬프트 편향을 의도적으로 악용하도록 모델을 훈련함.
• 텍스트 모odal리티에 초점을 맞춰 DAIC-WOZ 테스트 세트에서 표준 지표(F1 스코어)를 사용해 성능을 평가함.
• 다양한 인터뷰 세그먼트에서 주의 맵과 모델 행동을 정성적으로 분석함.
• 전체 인터뷰 시퀀스에서 분석을 복제하여 전반적 대비 국소적 증거 수집 방식을 비교함.

실험 결과

연구 질문

• RQ1 치료사 프롬프트를 우울증 탐지 모델에 통합할 경우, 성능 향상은 진정한 진단 신호 때문인지 아니면 데이터셋 편향 때문인지?
• RQ2 치료사 프롬프트를 사용하는 모델은 참가자 응답만을 사용하는 모델과 비교해 주의 분포에서 어떻게 다를까?
• RQ3 모델이 프롬프트의 구조와 내용만을 의도적으로 악용해 높은 성능을 달성할 수 있는가?
• RQ4 프롬프트에 의존하는 모델이 특정 인터뷰 세그먼트, 특히 정신건강 진단 질문이 포함된 부분에 집중하는 정도는 어느 정도인가?
• RQ5 프롬프트 기반 편향이 실제 임상 환경에서 자동 우울증 탐지 시스템의 일반화 능력과 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 치료사 프롬프트를 사용하는 모델들은 주로 정신건강 관련 질문이 포함된 후반부에 집중하는 국소적 영역에 주의를 기울임.
• 반면 참가자 응답만을 사용해 훈련된 모델들은 전체 대화에서 증거를 수집하며 더 분산되고 맥락 기반의 주의를 보임.
• 의도적으로 프롬프트 편향을 악용함으로써 저자들은 DAIC-WOZ 데이터셋에서 텍스트 정보만을 사용해도 기존에 보고된 바 중 가장 높은 0.90 F1 스코어를 달성함.
• 프롬프트를 사용함으로써 얻는 성능 향상은 모델 아키텍처나 특징 학습 향상보다는 프롬프트 내용 내 강력한 악용 가능한 편향 때문임.
• 연구 결과는 현재 높은 성능을 내는 모델들이 환자의 언어나 행동이 아닌 상담사의 행동 기반으로 분류적 단서를 학습하고 있을 가능성이 있음을 시사함.
• 치료사 프롬프트를 사용할 경우 DAIC-WOZ의 벤치마크 결과의 타당성을 의심하게 하며, 모델 평가 및 배포 시 신중함을 당부함.