[논문 리뷰] Predicting Mood Disorder Symptoms with Remotely Collected Videos Using an Interpretable Multimodal Dynamic Attention Fusion Network

Tathagata Banerjee, Matthew Kollada외 5명|arXiv (Cornell University)|2021. 09. 07.

Digital Mental Health Interventions참고 문헌 12인용 수 5

한 줄 요약

이 논문은 스마트폰에서 원격으로 확보한 음성, 영상, 텍스트 데이터를 활용해 우울증, 불안, 무욕감 증상을 예측하기 위해 새로운 해석 가능한 다중모odal 동적 주의 집합 신경망을 제안한다. CNN를 통해 시간에 따라 변화하는 임베딩을 학습하고, 트랜스포머 인코더를 통해 이를 융합함으로써 정적 임베딩 방법보다 뛰어난 성능을 달성하였으며, SHAP 해석 가능성 기법을 통해 핵심 디지털 마커를 특정하여 전체 특성의 25%만으로도 안정적인 성능을 확보하였다.

ABSTRACT

We developed a novel, interpretable multimodal classification method to identify symptoms of mood disorders viz. depression, anxiety and anhedonia using audio, video and text collected from a smartphone application. We used CNN-based unimodal encoders to learn dynamic embeddings for each modality and then combined these through a transformer encoder. We applied these methods to a novel dataset - collected by a smartphone application - on 3002 participants across up to three recording sessions. Our method demonstrated better multimodal classification performance compared to existing methods that employed static embeddings. Lastly, we used SHapley Additive exPlanations (SHAP) to prioritize important features in our model that could serve as potential digital markers.

연구 동기 및 목표

• 스마트폰에서 원격으로 확보한 다중미디어 데이터를 활용해 확장 가능하고 해석 가능한 방법으로 정서장애 증상을 탐지하는 데 목적이 있다.
• 이전 연구의 한계를 보완하기 위해 정적 표현이 아닌, 음성, 영상, 텍스트의 시간적 동적 특성을 모델링하는 동적 임베딩을 사용한다.
• 시간에 따라 변화하는 교차모달 의존성을 포착할 수 있도록 트랜스포머 기반 아키텍처를 활용해 다중모달 융합을 향상시킨다.
• 모델의 해석 가능성을 높이고 검증하기 위해 SHapley Additive exPlanations(SHAP)를 사용해 임상적으로 의미 있는 디지털 마커를 식별한다.
• 임상적 감시 없이 수집된 대규모 실생활 데이터셋을 대상으로 모델을 평가하여, 노이즈가 많고 비정상적인 원격 데이터에 대해서도 강건한 성능을 유지함을 확인한다.

제안 방법

• 모델은 음성, 영상, 텍스트에서 0.1초 해상도로 시간에 따라 변화하는 동적 임베딩을 추출하기 위해 CNN 기반의 단모달 인코더를 사용한다.
• 각 모달리티의 특징은 독립적으로 처리되어 시간에 따라 변화하는 표현을 학습하며, 시간적 동적 특성을 유지한다.
• 트랜스포머 인코더는 동적 임베딩을 다양한 모달리티 간에 융합하여 시간에 따라 변화하는 교차모달 의존성을 주목할 수 있도록 한다.
• 프레임워크는 SHapley Additive exPlanations(SHAP)를 사용해 특징 중요도를 순위 매기고, 각 증상 예측에 가장 영향을 미치는 입력을 식별한다.
• 저품질 녹화물과 정중한 응답을 걸러내기 위해 원격 스마트폰 데이터에 대해 철저한 품질 제어 프로세스를 적용하였다.
• 모델는 최대 3회의 녹화 세션을 가진 3,002명의 참가자로 구성된 새로운 데이터셋을 사용해 훈련 및 평가되었으며, 증상 레이블로는 PHQ-9, GAD-7, SHAPS를 사용하였다.

실험 결과

연구 질문

• RQ1 동적 임베딩을 사용하는 다중모달 딥러닝 모델이 정적 임베딩에 기반한 기존 방법보다 정서장애 증상을 더 잘 예측할 수 있는가?
• RQ2 SHAP 기반의 모델 해석 가능성을 통해 다중모달 정신건강 예측에서 임상적으로 의미 있는 디지털 마커를 어떻게 식별할 수 있는가?
• RQ3 원격으로 수집된, 감시가 제한된 스마트폰 데이터를 기반으로 훈련된 모델가지 노이즈와 변동성이 많은 데이터 환경에서도 높은 성능을 유지할 수 있는가?
• RQ4 어떤 특정한 음성, 영상, 텍스트 특징가 우울증, 불안, 무욕감 증상 예측에 가장 예측력이 높은가?
• RQ5 영향력이 큰 특성의 축소된 집합이 최적에 가까운 성능을 유지할 수 있는가? 이를 통해 효율적인 디지털 마커 탐색이 가능할까?

주요 결과

• 제안된 동적 다중모달 융합 모델은 정적 임베딩에 기반한 기존 최고 성능 모델보다 높은 F1 스코어를 달성하였다.
• SHAP에 의해 식별된 가장 중요한 특성의 25%만으로도 성능이 안정되었으며, PHQ-9의 경우 전체 특성 집합과 최소 특성 집합 간 F1 스코어 차이가 1% 이내였다.
• 각 증상 척도의 상위 10개 SHAP 순위 특징은 세 모달리티에서 대표적인 요소를 포함하여 다중모달 기여도가 확인되었다.
• 질병 간 공통 특징으로는 텍스트의 긍정성, 정서적 강도, 입 움직임과 관련된 얼굴 운동 단위가 포함되어 있어 공통적인 행동 마커를 시사한다.
• 질병 특이적 특징으로는 PHQ-9의 경우 정서적 특성(예: 자극성, 지배성)과 명사 태그가 나타나며, 이는 각각의 증상 프로필이 다름을 강조한다.
• 포괄적인 품질 제어 프로세스를 통해 원격 데이터의 노이즈에 강건한 성능을 확보하여 실생활 스마트폰 데이터에서 신뢰할 수 있는 성능을 보였다.