[논문 리뷰] Two-stage Temporal Modelling Framework for Video-based Depression Recognition using Graph Representation

Jiaqi Xu, Siyang Song외 3명|arXiv (Cornell University)|2021. 11. 30.

Mental Health Research Topics참고 문헌 57인용 수 9

한 줄 요약

이 논문은 다중 척도의 얼굴 행동을 캡처하기 위해 그래프 표현을 사용하는 두 단계의 시간적 모델링 프레임워크를 제안한다. 이는 먼저 짧은 시간의 우울증 관련 특징을 우울증 특징 강화(Depression Feature Enhancement, DFE) 모듈을 통해 향상시키고, 이를 순차적(Sequential, SEG) 및 스펙트럼적(Spectral, SPG) 그래프 인코딩을 통해 영상 수준의 그래프 표현으로 인코딩한다. 이로써 AVEC 2013 및 2014 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, PCC는 최대 0.770, RMSE는 8.18을 기록하였다.

ABSTRACT

Video-based automatic depression analysis provides a fast, objective and repeatable self-assessment solution, which has been widely developed in recent years. While depression clues may be reflected by human facial behaviours of various temporal scales, most existing approaches either focused on modelling depression from short-term or video-level facial behaviours. In this sense, we propose a two-stage framework that models depression severity from multi-scale short-term and video-level facial behaviours. The short-term depressive behaviour modelling stage first deep learns depression-related facial behavioural features from multiple short temporal scales, where a Depression Feature Enhancement (DFE) module is proposed to enhance the depression-related clues for all temporal scales and remove non-depression noises. Then, the video-level depressive behaviour modelling stage proposes two novel graph encoding strategies, i.e., Sequential Graph Representation (SEG) and Spectral Graph Representation (SPG), to re-encode all short-term features of the target video into a video-level graph representation, summarizing depression-related multi-scale video-level temporal information. As a result, the produced graph representations predict depression severity using both short-term and long-term facial beahviour patterns. The experimental results on AVEC 2013 and AVEC 2014 datasets show that the proposed DFE module constantly enhanced the depression severity estimation performance for various CNN models while the SPG is superior than other video-level modelling methods. More importantly, the result achieved for the proposed two-stage framework shows its promising and solid performance compared to widely-used one-stage modelling approaches.

연구 동기 및 목표

• 기존의 한 단계 방법이 짧은 시간과 긴 시간의 우울증 관련 얼굴 행동을 효과적으로 모델링하지 못하는 한계를 해결한다.
• 프레임 수준의 모델링에서 우울증과 관련이 없는 얼굴 특징(예: 신원 정보)이 우세해지는 문제를 해결하기 위해, 우울증 신호에서 노이즈를 분리한다.
• 다중 척도의 짧은 시간 특징을 요약하여 영상 수준의 그래프 구조로 표현하는 새로운 영상 수준의 표현 방식을 개발한다.
• 짧은 시간 특징 강화와 장기적인 그래프 기반 영상 표현을 통합하여 우울증 심각도의 엔드 투 엔드 학습을 가능하게 한다.
• 내부 및 교차 데이터셋 평가에서 제안된 두 단계 프레임워크가 한 단계 기반 기준 모델보다 뛰어난 성능을 보임을 입증한다.

제안 방법

• 다양한 시간 척도에서 얼굴 역동성을 캡처하기 위해 다중 작업 복합체(Multi-Task Bottleneck, MTB) 모듈을 사용하여 짧은 영상 조각에서 다중 척도 시간 특징을 추출한다.
• 각 척도에 대해 우울증 관련 신호를 강화하고 특징 표현 내에서 우울증과 관련이 없는 노이즈를 억제하기 위해 우울증 특징 강화(DFE) 모듈을 적용한다.
• 다양한 척도에서 강화된 특징을 연결하고, 비희박(non-sparse, NS) 서브모듈을 적용하여 추가로 관련 없는 특성들을 분리한다.
• 전체 영상가지의 그래프로 모델링하기 위해 두 가지 새로운 그래프 인코딩 전략인 순차적 그래프 표현(Sequential Graph Representation, SEG)과 스펙트럼적 그래프 표현(Spectral Graph Representation, SPG)을 구축한다.
• 결과로 생성된 그래프 표현을 그래프 신경망(GNNs)에 입력하여 우울증 심각도 점수를 회귀한다.
• DFE 및 GNN 모듈 내부에서 주의 메커니즘(attention mechanisms)을 사용하여 관련 있는 시간적 및 공간적 얼굴 패atters를 우선순위로 지정한다.

Figure 1: The pipeline of the proposed approach which consists of three main modules. The MTB module first extracts short-term behavioural features at multiple spatio-temporal scales from every thin slice of the target video. Then, the DFE module enhances the depression-related cues encoded by the f

실험 결과

연구 질문

• RQ1 짧은 시간과 영상 수준의 얼굴 행동을 모두 모델링하는 두 단계 프레임워크가 한 단계 방법에 비해 우울증 인식 성능을 향상시키는가?
• RQ2 제안된 DFE 모듈이 우울증 관련 특징을 얼마나 효과적으로 향상시키고, 우울증과 관련이 없는 얼굴 특징의 간섭을 줄이는가?
• RQ3 다양한 그래프 인코딩 전략(SEG 대 SPG)은 다중 척도의 짧은 시간 특징을 일관된 영상 수준의 표현으로 요약하는 데 어떻게 비교되는가?
• RQ4 그래프 기반 영상 수준의 모델링 통합이 다양한 데이터셋 및 평가 설정 간의 일반화 능력을 향상시키는가?
• RQ5 제안된 프레임워크는 우울증 검출을 넘어서 다른 영상 수준의 인식 작업으로 확장될 수 있는가?

주요 결과

• 제안된 두 단계 프레임워크는 대부분의 기존 한 단계 방법보다 뛰어난 성능을 보였으며, MTB-DFE+SPG 구성에서 AVEC 2013 테스트 세트에서 PCC 0.770, RMSE 8.18을 기록하였다.
• DFE 모듈은 테스트된 모든 CNN 모델에서 일관되게 성능 향상을 보였으며, 이는 우울증 관련 신호 강화와 비우울증 노이즈 억제의 효과성을 입증한다.
• 스펙트럼적 그래프 표현(SPG)은 SEG 및 기타 기준 모델보다 뛰어난 성능을 보였으며, 이는 임의의 길이의 짧은 시간 특징 시퀀스를 효과적으로 인코딩할 수 있음을 시사한다.
• MTB-DFE+SPG 모델은 도메인 내 평가(예: AVEC 2013에서 PCC 0.770)에서는 뛰어난 성능를 보였지만, 교차 데이터셋 설정에서는 일반화 능력이 제한적이었으며, NorthWind 및 Freeform 세트에서는 음수의 PCC 값을 기록하였다.
• 두 단계 접근 방식은 항상 해당하는 한 단계 모델보다 뛰어난 성능를 보였으며, 짧은 시간과 장기 행동을 함께 모델링함으로써 예측의 강건성을 향상시킨다는 점을 확인하였다.
• 프레임워크의 모듈식 설계 덕분에 다양한 짧은 시간 및 장기 모델링 구성 요소와의 통합이 가능하여 향후 응용 분야에 매우 높은 확장성을 지닌다.

Figure 2: The architecture of the Multi-scale Temporal Behavioural Feature Extraction (MTB) module.