[논문 리뷰] Vision based body gesture meta features for Affective Computing

Indigo Orton|arXiv (Cornell University)|2020. 02. 10.

Emotion and Mood Recognition참고 문헌 49인용 수 4

한 줄 요약

이 논문은 자세 추정을 통해 유도된 운동, 지속 시간, 놀라움을 캡처하는 새로운 시각 기반 신체 제스처 메타특징을 도입하여 정서적 고통, 특히 우울증을 예측한다. 자기 보고된 고통 레이블이 부여된 65개의 인터뷰 영상으로 구성된 새로운 데이터셋을 사용하여 선형 회귀를 통해 82.70%의 F1 스코어를 달성하였으며, 이는 집계된 제스처 메타특징이 전통적인 수작업 특징 또는 딥러닝 기반 접근법에 비해 유의미하고 해석 가능한 대안이 될 수 있음을 보여준다.

ABSTRACT

Early detection of psychological distress is key to effective treatment. Automatic detection of distress, such as depression, is an active area of research. Current approaches utilise vocal, facial, and bodily modalities. Of these, the bodily modality is the least investigated, partially due to the difficulty in extracting bodily representations from videos, and partially due to the lack of viable datasets. Existing body modality approaches use automatic categorization of expressions to represent body language as a series of specific expressions, much like words within natural language. In this dissertation I present a new type of feature, within the body modality, that represents meta information of gestures, such as speed, and use it to predict a non-clinical depression label. This differs to existing work by representing overall behaviour as a small set of aggregated meta features derived from a person's movement. In my method I extract pose estimation from videos, detect gestures within body parts, extract meta information from individual gestures, and finally aggregate these features to generate a small feature vector for use in prediction tasks. I introduce a new dataset of 65 video recordings of interviews with self-evaluated distress, personality, and demographic labels. This dataset enables the development of features utilising the whole body in distress detection tasks. I evaluate my newly introduced meta-features for predicting depression, anxiety, perceived stress, somatic stress, five standard personality measures, and gender. A linear regression based classifier using these features achieves a 82.70% F1 score for predicting depression within my novel dataset.

연구 동기 및 목표

• 이산적인 제스처를 초월한 행동 패턴을 캡처하는 메타특징을 도입함으로써 자동 고통 탐지에서 다루지 않은 바이오메트릭 모달리티를 해결하고자 한다.
• 원천 영상과 자세 데이터를 포함한 공개된 데이터셋의 부족을 해결하고자, 자기 평가된 고통, 성격, 인구통계학적 레이블이 부여된 65개의 인터뷰 녹화 영상으로 구성된 새로운 데이터셋을 구축하고자 한다.
• 원시 자세 시퀀스를 운동 역학, 지속 시간, 놀라움을 나타내는 해석 가능한 저차원 메타특징으로 변환하는 특징 추출 파이프라인을 개발하고자 한다.
• 기존의 기계학습 분류기와 전통적인 분류기들을 사용하여 이러한 메타특징의 예측 능력을 검증하고, 비임상적 우울증, 불안, 스트레스, 성격 특성, 성별 예측에 대해 검증하고자 한다.

제안 방법

• 자세 추정은 오픈소스 도구를 사용하여 영상 녹화에서 2차원 관절 좌표를 추출함으로써 수행된다.
• 제스처는 특정 신체 부위(예: 팔, 손)의 관절 위치 변화에 기반한 시간에 따른 운동 시퀀스로 감지된다.
• 각 제스처에 대해 운동 크기(이동 거리), 지속 시간(시간 간격), 놀라움(이전 패턴 기반 예상 제스처 타이밍에서의 편차) 등의 메타특징이 계산된다.
• 이러한 제스처별 특징은 통계적 요약(평균 및 표준편차)을 사용하여 영상 내 모든 제스처에 걸쳐 집계되며, 이로 인해 간결하고 저차원의 특징 벡터가 생성된다.
• 집계된 메타특징을 기반으로 선형 회귀 분류기가 훈련되어 우울증 및 기타 정서 상태를 예측한다.
• 이 방법은 자기 보고된 고통 및 인구통계학적 레이블이 부여된 새로운 65개의 인터뷰 영상 데이터셋을 사용하여 평가되었으며, 이는 전체 파이프라인 검증을 가능하게 한다.

실험 결과

연구 질문

• RQ1 운동, 지속 시간, 놀라움과 같은 신체 제스처 역학에서 유도된 메타특징이 이산적 제스처 분류보다 정서적 고통 예측에 더 효과적인가?
• RQ2 이러한 메타특징은 우울증, 불안, 주관적 스트레스, 성격 특성 등 다양한 정서 상태에 얼마나 일반화되는가?
• RQ3 대규모 공개 데이터셋이 없는 상황에서 메타특징을 사용한 선형 분류기의 성능은 기존 접근법과 비교해 어떻게 되는가?
• RQ4 심리학 문헌에서 고통 행동(예: 떨림, 리듬적 움직임)과 관련하여 이러한 메타특징이 해석 가능한가?
• RQ5 이러한 특징은 얼굴 표정이나 음성과 같은 다른 모odalities와 결합되었을 때, 다중모달 또는 딥러닝 프레임워크에서 잠재력을 얼마나 지닐 수 있는가?

주요 결과

• 제안된 제스처 메타특징은 새로운 데이터셋에서 선형 회귀 분류기를 사용하여 82.70%의 F1 스코어로 우울증을 분류하는 데 성공하였다.
• 이산적 제스처 분류에 의존하는 기준선 방법보다 성능이 뛰어나, 고립된 제스처 레이블보다 집계된 동적 특징의 가치를 입증하였다.
• 메타특징는 우울증 이외에도 불안, 주관적 스트레스, 신체적 스트레스, 표준 성격 특성 5개 모두에 강력한 예측 능력을 보였다.
• 예상 제스처 타이밍에서의 편차를 측정하는 놀라움 특징은 고통과 관련된 예측 불가능하거나 방해받은 행동을 포착하는 데 잠재력을 보였다.
• 이 방법은 심리학 이론에 기반하여 해석 가능하며, 떨림이나 리듬적 움직임과 같은 행동을 시간과 반복성의 통계적 측정을 통해 모델링함으로써 가능하다.
• 이 연구는 제한된 데이터로도 자세 추정과 단순 통계 집계를 활용해 효과적이고 경량의 특징을 정서 컴퓨팅에 효과적으로 만들 수 있음을 입증하였다.