[논문 리뷰] Face-GPS: A Comprehensive Technique for Quantifying Facial Muscle Dynamics in Videos

Juni Kim, Zhikang Dong외 1명|arXiv (Cornell University)|2024. 01. 11.

Facial Nerve Paralysis Treatment and ResearchMedicine인용 수 3

한 줄 요약

Face-GPS는 표준 영상 기록에서 미분 기하학, 커널 스무딩, 스펙트럼 분석을 사용하여 얼굴 근육 운동을 새로운 방식으로 정량화하는 설명 가능한 방법을 제안한다. 얼굴 랜드마크를 기준 얼굴 다양체에 매핑하고, 광학 흐름에 대해 다중 커널 스무딩을 적용함으로써 CK+ 데이터셋에서 감정 분류 정확도 86.1%를 달성한다. 이는 fEMG와 블랙박스 딥러닝 모델에 비해 비침습적이고 접근성이 높은 대안을 제공한다.

ABSTRACT

We introduce a novel method that combines differential geometry, kernels smoothing, and spectral analysis to quantify facial muscle activity from widely accessible video recordings, such as those captured on personal smartphones. Our approach emphasizes practicality and accessibility. It has significant potential for applications in national security and plastic surgery. Additionally, it offers remote diagnosis and monitoring for medical conditions such as stroke, Bell's palsy, and acoustic neuroma. Moreover, it is adept at detecting and classifying emotions, from the overt to the subtle. The proposed face muscle analysis technique is an explainable alternative to deep learning methods and a non-invasive substitute to facial electromyography (fEMG).

연구 동기 및 목표

• 스마트폰과 같은 표준 영상 기록에서 얼굴 근육 활동을 실용적이고 접근 가능한 방법으로 정량화하는 데 목적이 있다.
• fEMG와 FACS의 한계를 극복하여 비침습적이고 원격이며 확장 가능한 얼굴 근육 분석을 가능하게 하는 데 목적이 있다.
• 딥러닝 기반 얼굴 인식의 해석 가능성을 향상시키기 위해 기준 얼굴 다양체 상에서 광학 흐름에 커널 스무딩을 통합하는 데 목적이 있다.
• 임상 및 보안 응용 분야에서 자동화된 얼굴 표정 및 근육 운동 분류를 정확하게 수행하는 데 목적이 있다.
• 머리 움직임과 배경 변화와 같은 혼란 요인을 효과적으로 제거하는 강력한 노이즈 필터링 프레임워크를 제공하는 데 목적이 있다.

제안 방법

• 이 방법은 MediaPipe를 사용해 얼굴 랜드마크를 추출하고, 이를 기준 얼굴 다양체에 매핑하여 머리 움직임과 배경 변화를 정규화한다.
• 3,681개의 랜드마크와 854개의 삼각형을 포함하는 삼각 분할 얼굴 다양체를 구축하여 얼굴 근육 영역을 조밀하게 커버한다.
• 연속 프레임 간 광학 흐름을 계산하여 픽셀 이동을 추적하고, 이를 다중 커널 스무딩(MKS) 프레임워크에서 가우시안 RBF 커널을 사용해 스무딩한다.
• MKS 접근법은 얼굴 근육 기술자로부터 유도된 가중치가 부여된 커널 반응의 조합을 통해, 사전 훈련된 FAN 모델을 활용해 표정 인식에 기반한 가중치를 도출한다.
• 이동 벡터는 역 애핀 변환을 통해 카르테시안 좌표계로 변환되어 근육 운동의 크기와 방향을 정량화한다.
• 최종 출력은 영상에 겹쳐진 동적 벡터장(히트맵 유사)으로, 프레임 간 근육 운동의 방향성과 강도를 모두 시각화한다.

실험 결과

연구 질문

• RQ1 특수 장비 없이 표준 영상 기록에서 얼굴 근육 운동을 정확하게 정량화할 수 있는가?
• RQ2 기준 얼굴 다양체 상의 광학 흐름이 머리 움직임과 배경 노이즈에 대한 강건성을 어떻게 향상시키는가?
• RQ3 다중 커널 스무딩이 얼굴 근육 운동 탐지의 해석 가능성과 정확도에 얼마나 기여하는가?
• RQ4 시각적 외관 정보 없이도 얼굴 근육 이동 특징만으로도 높은 정확도의 감정 분류가 가능한가?
• RQ5 딥러닝 기반 특징 가중치 통합이 특정 얼굴 동작에 대한 민감도를 어떻게 향상시키는가?

주요 결과

• Face-GPS는 시각적 외관 데이터 없이도 얼굴 근육 이동 특징만을 사용해 CK+ 데이터셋에서 평균 분류 정확도 85.0%를 달성한다.
• FAN 기반 커널 가중치를 통합한 결과 정확도가 86.1%로 상승하여, 딥러닝 사전 지식 통합의 가치를 입증한다.
• 이 방법은 행복에서의 입꼬리 당김과 공포에서의 눈썹 올리기와 같은 특정 행동 단위를 정확히 식별한다.
• 다중 커널 스무딩 접근법은 노이즈를 효과적으로 감소시키면서도 의미 있는 근육 운동 패턴을 영상 시퀀스에서 유지한다.
• 시각적 출력인 동적 벡터장은 프레임 간 얼굴 근육 이동의 크기와 방향을 정확하게 표현한다.
• 이 프레임워크는 원격으로 비침습적인 얼굴 근육 활동 모니터링을 가능하게 하여 뇌졸중, 벨 마비, 청신경종양 등의 진단에 적합하다.