[논문 리뷰] A Topic-Attentive Transformer-based Model For Multimodal Depression Detection

Yanrong Guo, Chenyang Zhu외 2명|arXiv (Cornell University)|2022. 06. 27.

Mental Health via Writing인용 수 8

한 줄 요약

이 논문은 임상 인터뷰에서의 음성 및 텍스트 데이터를 사용하여 다중모odal 우울증 탐지에 적합한 주제에 주목하는 Transformer 기반 모델인 TOAT을 제안한다. 데이터를 주제 단위로 정리하고 주제 어텐션 메커니즘을 적용함으로써, 훈련 데이터가 제한된 상황에서도 특징의 관련성을 향상시키고 정확도를 높인다. DAIC-WOZ 데이터셋에서 F1 스코어 64.7을 달성한다.

ABSTRACT

Depression is one of the most common mental disorders, which imposes heavy negative impacts on one's daily life. Diagnosing depression based on the interview is usually in the form of questions and answers. In this process, the audio signals and their text transcripts of a subject are correlated to depression cues and easily recorded. Therefore, it is feasible to build an Automatic Depression Detection (ADD) model based on the data of these modalities in practice. However, there are two major challenges that should be addressed for constructing an effective ADD model. The first challenge is the organization of the textual and audio data, which can be of various contents and lengths for different subjects. The second challenge is the lack of training samples due to the privacy concern. Targeting to these two challenges, we propose the TOpic ATtentive transformer-based ADD model, abbreviated as TOAT. To address the first challenge, in the TOAT model, topic is taken as the basic unit of the textual and audio data according to the question-answer form in a typical interviewing process. Based on that, a topic attention module is designed to learn the importance of of each topic, which helps the model better retrieve the depressed samples. To solve the issue of data scarcity, we introduce large pre-trained models, and the fine-tuning strategy is adopted based on the small-scale ADD training data. We also design a two-branch architecture with a late-fusion strategy for building the TOAT model, in which the textual and audio data are encoded independently. We evaluate our model on the multimodal DAIC-WOZ dataset specifically designed for the ADD task. Experimental results show the superiority of our method. More importantly, the ablation studies demonstrate the effectiveness of the key elements in the TOAT model.

연구 동기 및 목표

• 자동 우울증 탐지(ADD)에서 길이가 다양하고 내용이 다양한 인터뷰 데이터에 대한 도전에 대응하기 위해 데이터를 주제 단위로 정리한다.
• ADD에서의 데이터 부족 문제를 해결하기 위해 대규모 사전 훈련 모델을 활용하고 소규모이며 개인정보가 민감한 데이터셋에서 미세조정한다.
• 텍스트 및 음성에서 각 주제의 중요도를 동적으로 가중치를 부여하는 주제 어텐션 메커니즘을 도입함으로써 다중모달 우울증 탐지 성능을 향상시킨다.
• 텍스트 및 음성 모odal 표현을 결합하는 이중 브랜치 Transformer 아키텍처에서 후기 융합의 효과를 검증한다.

제안 방법

• 모델은 질문-답변 쌍을 기반으로 인터뷰 데이터를 주제 수준의 단위로 정리하여, 각 주제를 의미적 단위로 간주함으로써 더 나은 특징 학습을 가능하게 한다.
• 주제 어텐션 모듈을 도입하여 각 주제의 중요도를 학습함으로써, 예측 시 임상적으로 관련성이 높은 내용에 집중할 수 있도록 한다.
• 이중 브랜치 아키텍처를 사용하여 텍스트 및 음성 모달리티를 별도로 처리하며, ADD 데이터셋에서 미세조정된 사전 훈련 모델(예: Wav2Vec2 및 BERT)을 활용한다.
• 최종 표현을 양 브랜치에서 추출한 후 분류 전에 연결함으로써 후기 융합을 적용함으로써 상호 보완적인 정보 통합을 가능하게 한다.
• 모델는 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 하이퍼파라미터는 검증 성능을 기반으로 조정된다.
• 성분 기여도 평가를 위해 브랜치나 주제 어텐션 모듈을 제거한 추론 실험을 수행한다.

실험 결과

연구 질문

• RQ1 문장 수준나 주제 수준의 처리와 비교할 때, 인터뷰 데이터를 주제 수준의 단위로 정리하는 것이 우울증 탐지 성능에 어떻게 기여하는가?
• RQ2 임상적으로 관련성이 높은 주제에 집중함으로써 주제 어텐션 메커니즘이 모델 성능을 얼마나 향상시키는가?
• RQ3 소규모 ADD 데이터에서 사전 훈련 모델을 미세조정하는 것이 데이터 부족 문제를 효과적으로 해결하고 정확도를 향상시키는가?
• RQ4 텍스트 및 음성 모달리티는 개별적으로나 함께 작용할 때 최종 탐지 성능에 어떻게 기여하는가?

주요 결과

• 전체 TOAT 모델은 DAIC-WOZ 데이터셋에서 F1 스코어 64.7을 달성하여 단일 모달 기반 모델을 능가한다.
• 텍스트 브랜치는 단독으로 F1 스코어 51.9를 기록했고, 음성 브랜치는 단독으로 48.0을 기록하여 양 모달리티가 상호 보완적인 가치를 지닌다는 것을 입증한다.
• 추론 실험 결과, 주제 어텐션 모듈이나 하나의 모달리티를 제거할 경우 성능이 크게 하락함으로써, 이들의 필요성을 확인한다.
• 주제별 F1 스코어와 사용 빈도 사이에 정적 상관관계가 나타나, 더 정보가 많은 주제가 자연스럽게 어텐션 메커니즘에 더 높은 가중치를 받는다는 것을 시사한다.
• 5번째 주제인 '당신은 우울증으로 진단받은 바가 있나요?'는 이진형이며 민감도가 높아 F1 스코어는 높지만 사용 빈도는 낮은 예외적인 경우이다.
• 정성적 분석 결과, 모델이 우울증을 명확히 시사하는 응답에 높은 어텐션 가중치를 할당함으로써 임상적 직관과 일치함을 확인했다.