[논문 리뷰] Depa: Self-supervised audio embedding for depression detection

Heinrich Dinkel, Pingyue Zhang외 2명|arXiv (Cornell University)|2019. 10. 29.

Mental Health via Writing참고 문헌 30인용 수 8

한 줄 요약

이 논문은 우울증 탐지에 영감을 받은 Word2Vec의 구조를 응용한 DEPA를 제안한다. DEPA는 희박한 도메인 데이터(DAIC)와 대규모 외부 도메인 데이터(Switchboard, 알츠하이머)를 활용해 표현을 학습하기 위해 인코더-디코더 네트워크를 사용하는 자기지도 학습 음성 임베딩 방법이다. DEPA는 분류 및 회귀 과제에서 전통적인 음성 특징보다 유의미하게 뛰어난 성능을 보이며, 외부 도메인 사전학습이 성능 향상에 기여한다.

ABSTRACT

Depression detection research has increased over the last few decades as this disease is becoming a socially-centered problem. One major bottleneck for developing automatic depression detection methods lies in the limited data availability. Recently, pretrained text-embeddings have seen success in sparse data scenarios, while pretrained audio embeddings are rarely investigated. This paper proposes DEPA, a self-supervised, Word2Vec like pretrained depression audio embedding method for depression detection. An encoder-decoder network is used to extract DEPA on sparse-data in-domain (DAIC) and large-data out-domain (switchboard, Alzheimer's) datasets. With DEPA as the audio embedding, performance significantly outperforms traditional audio features regarding both classification and regression metrics. Moreover, we show that large-data out-domain pretraining is beneficial to depression detection performance.

연구 동기 및 목표

• 자기지도 사전학습을 활용해 자동 우울증 탐지에서 레이블이 부족한 문제를 해결한다.
• 저자원 우울증 탐지 환경에서 사전학습된 음성 임베딩의 타당성과 효능을 탐색한다.
• 대규모 외부 도메인 사전학습이 도메인 내 우울증 탐지 성능 향상에 기여하는지 조사한다.
• 수동 레이블링이 필요 없는 의미 있는 음성 표현을 학습하는 DEPA 프레임워크를 개발한다.

제안 방법

• 마스킹된 음성 세그먼트를 재구성하기 위해 인코더-디코더 신경망을 훈련하여 Word2Vec의 스킵그램 목적과 유사한 문맥 표현을 학습한다.
• 도메인 내 DAIC 데이터셋에 대해 파인튜닝하기 전에 대규모 외부 도메인 데이터셋(Switchboard 및 알츠하이머)에서 모델을 사전학습한다.
• 학습된 인코더를 특징 추출기로 사용하여 후속 우울증 탐지 작업을 위한 DEPA 임베딩을 생성한다.
• DEPA 임베딩을 우울증 심각도 예측을 위한 분류 및 회귀 과제에 적용한다.
• 재구성 과정을 통해 음성 내 의미적 구조를 간접적으로 포착하기 위해 대조 학습 원리를 암묵적으로 활용한다.

실험 결과

연구 질문

• RQ1 자기지도 음성 표현 학습이 저자원 환경에서 우울증 탐지 성능 향상에 기여하는가?
• RQ2 대규모 외부 도메인 음성 데이터셋에서의 사전학습이 도메인 내 우울증 탐지 성능 향상에 기여하는가?
• RQ3 DEPA 임베딩은 분류 및 회귀 과제에서 기존 수작업 특징과 비교해 어떻게 성능을 내는가?
• RQ4 DEPA의 성능 향상 요인이 자기지도 사전학습인지 아님 직렬 아키텍처 설계 때문인가?

주요 결과

• DEPA 임베딩은 분류 및 회귀 과제에서 전통적인 음성 특징보다 유의미하게 뛰어난 성능을 기록한다.
• 대규모 외부 도메인 데이터셋(Switchboard 및 알츠하이머)에서의 사전학습이 도메인 내 DAIC 데이터셋에서의 성능 향상에 기여한다.
• 자기지도 DEPA 프레임워크는 수동 레이블링이 필요 없이 의미 있는 음성 표현을 효과적으로 학습한다.
• 성능 향상은 자기지도 사전학습과 인코더-디코더 아키텍처의 조합 덕분이다.