[논문 리뷰] Significance of Speaker Embeddings and Temporal Context for Depression Detection

Sri Harsha Dumpala, Sebastián Rodríguez외 3명|arXiv (Cornell University)|2021. 07. 24.

Mental Health via Writing인용 수 6

한 줄 요약

이 논문은 말하기에서의 발화자 임베딩이 우울증 탐지 성능을 크게 향상시킴을 보여주며, OpenSMILE 및 COVAREP 특징과 조합할 경우 최신 기술 수준(SOTA)의 성능을 달성한다. 본 연구는 연속된 말의 단위를 더 고려함으로써 시간적 맥락을 증가시키면 모델 성능이 향상됨을 보이며, 이는 우울증을 식별하는 데 있어 순차적인 말의 패턴이 핵심적 단서를 제공함을 시사한다.

ABSTRACT

Depression detection from speech has attracted a lot of attention in recent years. However, the significance of speaker-specific information in depression detection has not yet been explored. In this work, we analyze the significance of speaker embeddings for the task of depression detection from speech. Experimental results show that the speaker embeddings provide important cues to achieve state-of-the-art performance in depression detection. We also show that combining conventional OpenSMILE and COVAREP features, which carry complementary information, with speaker embeddings further improves the depression detection performance. The significance of temporal context in the training of deep learning models for depression detection is also analyzed in this paper.

연구 동기 및 목표

• 말하기에서의 발화자 임베딩이 우울증 탐지 성능 향상에 미치는 영향을 조사하는 것.
• 연속된 말의 단위 수로 정의되는 시간적 맥락이 우울증 탐지에서 딥 러닝 모델 성능에 미치는 영향을 분석하는 것.
• 기존의 음성 특징인 OpenSMILE 및 COVAREP와의 발화자 임베딩의 상호보완적 성질을 평가하는 것.
• 다양한 모달리티의 음성 특징과 발화자 임베딩을 융합하여 말을 통한 우울증 탐지의 새로운 최신 기술 수준 기준을 설정하는 것.

제안 방법

• 발화자 임베딩은 [30]에서 제시된 바와 같이 LSTM 네트워크 기반의 엔드 투 엔드 텍스트 독립 발화자 확인 시스템을 사용하여 추출되었다.
• OpenSMILE 및 COVAREP에서 추출된 음성 특징은 말의 프로소디크 및 스펙트럼적 특징을 표현하기 위해 사용되었다.
• 이중 분류(우울증 대 비우울증)를 위해 딥 러닝 모델(DNN, CNN, LSTM)이 발화자 임베딩과 음성 특징을 모두 사용하여 훈련되었다.
• 시간적 맥락은 연속된 말의 단위 시퀀스(4~16/20개 단위)를 모델에 입력하여 순차적 동역학을 포착하도록 모델링되었다.
• 모델 성능 평가에는 양성 및 음성 클래스 모두에 대해 가중 평균 정확도와 F1 점수가 사용되었다.
• 발화자 분류 성능 평가에는 등가 오류율(EER)을 사용하여 추출된 발화자 임베딩의 분류 능력을 검증하였다.

실험 결과

연구 질문

• RQ1 발화자 임베딩이 말을 통한 우울증 탐지 모델 성능에 어떻게 기여하는가?
• RQ2 기존의 음성 특징(OpenSMILE 및 COVAREP)과 발화자 임베딩을 융합할 경우 우울증 탐지 정확도에 어떤 영향을 미치는가?
• RQ3 시간적 맥락의 길이(연속된 말의 단위 수)가 딥 러닝 모델의 우울증 탐지 성능에 어떤 영향을 미치는가?
• RQ4 발화자 임베딩만으로 최신 기술 수준의 방법에 비해 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 발화자 임베딩만으로도 DAIC-WoZ 및 FORBOW 데이터셋에서 OpenSMILE 또는 COVAREP 특징만을 사용한 모델보다 뛰어난 성능을 보였다.
• 발화자 임베딩과 OpenSMILE 특징을 융합한 결과, FORBOW 데이터셋에서 가중 평균 정확도 0.76을 달성하여 기존 최신 기술 수준 결과를 초월하였다.
• LSTM 및 CNN 모델의 성능은 시간적 맥락이 증가함에 따라 향상되었으며, FORBOW에서는 16개 단위, DAIC-WoZ에서는 20개 단위에서 포화 상태에 도달하였다.
• DAIC-WoZ에서의 발화자 분류 EER는 1.29, FORBOW에서는 1.69였으며, 이는 추출된 발화자 임베딩이 효과적으로 발화자 고유의 정보를 포착하고 있음을 확인한다.
• 모든 설정에서 LSTM 및 CNN 모델이 DNN보다 뛰어난 성능을 보였으며, LSTM D는 CNN D와 비교해 최고 또는 유사한 성능을 기록하였다.
• 발화자 임베딩과 OpenSMILE 특징의 융합은 성능 향상에 상당한 기여를 하였으며, 이는 발화자 신원 정보와 음성 특징 간의 상호보완적 정보가 있음을 시사한다.