[논문 리뷰] Exploring Facial Expressions and Affective Domains for Parkinson Detection

Luis F. Gomez, Aythami Morales외 2명|arXiv (Cornell University)|2020. 12. 11.

Facial Nerve Paralysis Treatment and Research참고 문헌 47인용 수 4

한 줄 요약

이 논문은 영상 시퀀스에서 얼굴 표정을 분석함으로써 파킨슨병(PD) 검출을 향상시키기 위해 정서 도메인 적응과 트리플릿 손실을 활용하는 딥러닝 프레임워크를 제안한다. 중립, 발현 시작 전이, 정점, 종료 전이, 중립의 정서 단계 동안의 동적 얼굴 변화를 모델링함으로써, 이 방법은 단일 이미지 기반 기준 대비 최대 8.9% 높은 87.3%의 정확도를 달성하며, 시간적 동역학성과 정서 모델에서의 전이 학습이 히포미아 검출에 크게 기여함을 입증한다.

ABSTRACT

Parkinson's Disease (PD) is a neurological disorder that affects facial movements and non-verbal communication. Patients with PD present a reduction in facial movements called hypomimia which is evaluated in item 3.2 of the MDS-UPDRS-III scale. In this work, we propose to use facial expression analysis from face images based on affective domains to improve PD detection. We propose different domain adaptation techniques to exploit the latest advances in face recognition and Face Action Unit (FAU) detection. The principal contributions of this work are: (1) a novel framework to exploit deep face architectures to model hypomimia in PD patients; (2) we experimentally compare PD detection based on single images vs. image sequences while the patients are evoked various face expressions; (3) we explore different domain adaptation techniques to exploit existing models initially trained either for Face Recognition or to detect FAUs for the automatic discrimination between PD patients and healthy subjects; and (4) a new approach to use triplet-loss learning to improve hypomimia modeling and PD detection. The results on real face images from PD patients show that we are able to properly model evoked emotions using image sequences (neutral, onset-transition, apex, offset-transition, and neutral) with accuracy improvements up to 5.5% (from 72.9% to 78.4%) with respect to single-image PD detection. We also show that our proposed affective-domain adaptation provides improvements in PD detection up to 8.9% (from 78.4% to 87.3% detection accuracy).

연구 동기 및 목표

• 얼굴 표정 역학을 이용한 자동적이고 객관적인 파킨슨병 검출 시스템을 개발하기 위해.
• 단일 이미지 분석 대비 정서 발현의 시간적 단계를 모델링함으로써 검출 성능 향상 여부를 조사하기 위해.
• 사전 훈련된 얼굴 인식 및 FAU 검출 모델에서의 도메인 적응을 탐색하여 PD 검출 성능 향상 여부를 평가하기 위해.
• 트리플릿 손실이 히포미아 모델링을 위한 특징 표현 향상에 기여하는지 평가하기 위해.
• 이동 기기에서의 구현 가능성을 평가하기 위해 경량 모델의 타당성을 검토하기 위해.

제안 방법

• 프레임워크는 영상 시퀀스를 중립, 발현 시작 전이, 정점, 종료 전이, 중립의 다섯 정서 단계로 분할하여 동적 얼굴 변화를 포착한다.
• 정서 데이터에서 훈련된 사전 훈련된 딥 얼굴 모델(예: Freeze 75)을 파킨슨병 환자 및 건강한 대조군 데이터에 대해 전이 학습을 통해 미세조정함으로써 정서 도메인 적응을 적용한다.
• 유사 샘플(예: PD 환자) 간의 클러스터링을 장려하고, 다른 클래스 간의 간격을 증대시키기 위해 트리플릿 손실을 활용하여 특징 임bedding을 최적화한다.
• 시간적 동역학성의 영향을 평가하기 위해 단일 프레임 분류와 다중 단계 프레임 분석을 비교한다.
• 이동성 평가를 위해 축소된 아키텍처(VGG-8, ResNet7)를 평가하였으며, 트리플릿 손실이 이들 모델의 성능을 추가로 향상시켰다.
• 주성분 분석을 통해 학습된 특징 공간에서 다양한 장애 수준의 PD 환자 간의 분리 가능성 시각화를 수행한다.

실험 결과

연구 질문

• RQ1 정서 생성의 다수 단계에서 얼굴 표정 역학을 모델링하는 것이 단일 이미지 분석 대비 파킨슨병 검출 정확도 향상에 기여하는가?
• RQ2 얼굴 인식 또는 FAU 검출 도메인의 사전 훈련된 모델에서의 전이 학습이 파킨슨병 검출 성능 향상에 기여하는가?
• RQ3 트리플릿 손실 학습이 파킨슨병 환자에서 히포미아 모델링을 위한 특징 표현 향상에 어느 정도 영향을 미치는가?
• RQ4 트리플릿 손실로 훈련된 경량 딥러닝 모델이 이동 기기에서의 구현에 대해 수용 가능한 정확도를 달성할 수 있는가?
• RQ5 특징 공간에서 파킨슨병 환자의 신경학적 중증도를 반영하는 명확한 경향성이 존재하는가?

주요 결과

• 다중 정서 단계를 포함한 영상 시퀀스를 사용함으로써, 단일 이미지 기반 방법 대비 5.5%p 향상된 78.4%의 정확도를 달성하여 파킨슨병 검출 정확도가 72.9%에서 향상되었다.
• 정서 도메인 적응을 통한 전이 학습으로 인해 검출 정확도가 8.9%p 향상되어, 정서 데이터에서 미세조정된 모델을 사용할 경우 87.3%의 정확도를 달성하였다.
• VGG-8 및 ResNet7 모델은 각각 최대 67.6% 및 78.8%의 정확도를 기록하였으며, 트리플릿 손실 적용으로 각각 72.7% 및 82.4%로 향상되었다.
• 주성분 공간에서 명확한 경향성이 드러났으며, 경증 및 중증 PD 환자는 뚜렷한 클러스터를 형성하고 중간 수준의 환자는 그 사이에 위치하였다.
• 트리플릿 손실 학습은 특히 경량 모델에서 특징 표현을 크게 향상시켰으며, 이는 효율적이고 정확한 파킨슨병 검출에 있어 그 가치를 입증한다.
• 경증, 중증, 중증도로 나누어진 삼분류 분류에서 최대 정확도 44% (F1=0.45)를 기록하여, 중증도 추정의 향상 여지가 있음을 시사한다.