[논문 리뷰] Looking At The Body: Automatic Analysis of Body Gestures and Self-Adaptors in Psychological Distress

Weizhe Lin, Indigo Orton외 3명|arXiv (Cornell University)|2020. 07. 31.

Emotion and Mood Recognition참고 문헌 49인용 수 2

한 줄 요약

이 논문은 자기 보고한 정서적 고통 수준 레이블이 부여된 인터뷰 영상의 새로운 오디오-비디오 데이터셋을 제안하고, 우울증과 불안의 주요 행동 지표인 몸짓과 손짓 움직임을 자동으로 탐지하기 위한 계층적 딥러닝 모델을 소개한다. 이 방법은 다중모달 딥 노이즈 제거 autoencoder와 향상된 피셔 벡터 인코딩을 결합하여, 손짓 움직임 특징이 고통 분류 성능을 크게 향상시킴을 입증한다. 특히 불안 예측에서 두드러진 성능 향상을 보였다.

ABSTRACT

Psychological distress is a significant and growing issue in society. Automatic detection, assessment, and analysis of such distress is an active area of research. Compared to modalities such as face, head, and vocal, research investigating the use of the body modality for these tasks is relatively sparse. This is, in part, due to the limited available datasets and difficulty in automatically extracting useful body features. Recent advances in pose estimation and deep learning have enabled new approaches to this modality and domain. To enable this research, we have collected and analyzed a new dataset containing full body videos for short interviews and self-reported distress labels. We propose a novel method to automatically detect self-adaptors and fidgeting, a subset of self-adaptors that has been shown to be correlated with psychological distress. We perform analysis on statistical body gestures and fidgeting features to explore how distress levels affect participants' behaviors. We then propose a multi-modal approach that combines different feature representations using Multi-modal Deep Denoising Auto-Encoders and Improved Fisher Vector Encoding. We demonstrate that our proposed model, combining audio-visual features with automatically detected fidgeting behavioral cues, can successfully predict distress levels in a dataset labeled with self-reported anxiety and depression levels.

연구 동기 및 목표

• 연구를 위해 공개된 전체 신체 영상 데이터셋이 부족한 문제를 해결하기 위해.
• 자신의 적응 행동과 손짓 움직임을 시각 데이터에서 자동으로 탐지할 수 있는 시스템을 개발하기 위해. 이는 정신적 고통의 알려진 행동 지표이다.
• 몸짓과 자기 적응 행동이 자기 보고한 불안 및 우울 수준과 어떤 관련이 있는지 조사하기 위해.
• 딥러닝을 활용한 다중모달 고통 분류에서 손짓 움직임 특징의 효과를 평가하기 위해.
• 제안된 손짓 탐지 모델이 새로운 데이터셋과 공개된 수작업 레이블이 부여된 손짓 데이터셋 모두에서 검증 가능함을 확인하기 위해.

제안 방법

• 표준화된 설문지를 사용하여 불안 및 우울 수준을 자기 보고한 비임상적 인터뷰 영상으로 새로운 오디오-비디오 데이터셋을 수집하였다.
• 비디오 프레임에서 자세 추정과 시간적 모델링을 활용하여 자기 적응 행동과 손짓 움직임을 자동으로 탐지하기 위한 계층적 모델을 제안하였다.
• 정신적 고통 수준과 관련된 행동 패턴을 탐색하기 위해 몸짓과 손짓 움직임 특징에 대한 통계 분석을 실시하였다.
• 오디오, 시각적, 손짓 모달리티의 프레임별 특징을 인코딩하기 위해 다중모달 딥 노이즈 제거 autoencoder(multi-DDAE)를 사용한 다중모달 딥러닝 파이프라인을 구현하였다.
• 인코딩된 특징에서 압축되고 특징적인 영상 수준의 표현을 생성하기 위해 향상된 피셔 벡터 인코딩을 사용하였다.
• 특징 선택을 위해 랜덤 포레스트를 활용하고, 이진 고통 분류를 위해 로지스틱 회귀 및 다층 퍼셉트론 분류기를 훈련시켰다.

실험 결과

연구 질문

• RQ1 몸짓과 손짓 움직임 행동은 자기 보고한 불안 및 우울 수준과 어떻게 관련이 있는가?
• RQ2 제약 없는 영상 인터뷰에서 자동 시스템이 높은 정확도로 손짓과 자기 적응 행동을 탐지할 수 있는가?
• RQ3 손짓 움직임 특징이 다중모달 모델의 정신적 고통 분류 성능을 얼마나 향상시키는가?
• RQ4 통계적 특징 표현과 딥러닝 특징 표현 방식은 고통 관련 행동 징후를 어떻게 비교하여 포착하는가?
• RQ5 제안된 손짓 탐지 모델은 다양한 손짓 행동을 보이는 데이터셋 간에 일반화 가능한가?

주요 결과

• 제안된 손짓 탐지 모델은 수작업 레이블이 부여된 손짓 데이터셋에서 80%의 리콜을 달성하여 이전 최고 성능 기법들을 능가하였다.
• 손짓 움직임 특징이 불안 예측의 분류 성능을 일관되게 향상시켰으며, 특히 AUC와 F1 스코어에서 뚜렷한 향상이 관찰되었다.
• 오디오, 시각적, 손짓 움직임 특징을 모두 포함한 다중모달 딥러닝 프레임워크는 손짓 정보가 없는 모델보다 뛰어난 분류 성능을 보였다.
• 통계 분석 결과, 우울 수준이 높은 참가자일수록 더 자주이고 오랫동안 자기 적응 행동과 손짓 움직임을 보였다.
• 제거 분석을 통해 손짓 움직임 특징가 고통 탐지에 있어 중요한 분류 모달리티임을 확인하였으며, 특히 불안 분류에서 두드러진 특징을 보였다.