[논문 리뷰] Automatic Facial Paralysis Estimation with Facial Action Units

Xuri Ge, Joemon M. Jose외 4명|arXiv (Cornell University)|2022. 03. 03.

Facial Nerve Paralysis Treatment and Research인용 수 6

한 줄 요약

이 논문은 얼굴 운동단위(AU)를 사용하여 자동으로 얼굴 마비 중증도를 평가하기 위한 새로운 적응형 국소-전반적 관계망(ALGRNet)을 제안한다. 적응형 영역 학습, AU 관계의 스킵-BiLSTM 모델링, 특징 융합 및 정제 모듈을 통합함으로써 ALGRNet는 BP4D 및 DISFA에서 최신 기술 수준의 AU 검출 정확도를 달성하였으며, 새로 수집한 얼굴 마비 데이터셋(FPara)에서 평균 F1 점수로 기존 방법보다 2.6% 높게 성능을 내어 임상적 중증도 평가에 대한 강력한 일반화 및 이식 가능성임을 입증한다.

ABSTRACT

Facial palsy is unilateral facial nerve weakness or paralysis of rapid onset with unknown causes. Automatically estimating facial palsy severeness can be helpful for the diagnosis and treatment of people suffering from it across the world. In this work, we develop and experiment with a novel model for estimating facial palsy severity. For this, an effective Facial Action Units (AU) detection technique is incorporated into our model, where AUs refer to a unique set of facial muscle movements used to describe almost every anatomically possible facial expression. In this paper, we propose a novel Adaptive Local-Global Relational Network (ALGRNet) for facial AU detection and use it to classify facial paralysis severity. ALGRNet mainly consists of three main novel structures: (i) an adaptive region learning module that learns the adaptive muscle regions based on the detected landmarks; (ii) a skip-BiLSTM that models the latent relationships among local AUs; and (iii) a feature fusion&refining module that investigates the complementary between the local and global face. Quantitative results on two AU benchmarks, i.e., BP4D and DISFA, demonstrate our ALGRNet can achieve promising AU detection accuracy. We further demonstrate the effectiveness of its application to facial paralysis estimation by migrating ALGRNet to a facial paralysis dataset collected and annotated by medical professionals.

연구 동기 및 목표

• 현재 주로 주관적인 임상 평가에 의존하는 자동적이고 객관적인 얼굴 마비 중증도 평가 방법의 부족을 해결하기 위해.
• 고정된 격자나 사전 정의된 패치 영역이 아닌, 동적인 비정규 근육 영역 간의 관계를 모델링하여 얼굴 운동단위(AU) 검출을 향상시키기 위해.
• 국소 AU 표현과 전반적 얼굴 맥락을 통합하여 특징 보완성을 향상시키는 딥 러닝 프레임워크를 개발하기 위해.
• AU 검출 모델의 임상적 얼굴 마비 중증도 분류 작업으로의 이식 가능성 평가를 위해 (이와 관련된 이전 연구가 제한적임).
• 기준 측정을 위한 의료 전문가에 의한 주석 처리가 된 임상적으로 관련성이 높은 얼굴 마비 데이터셋(FPara)을 구축하기 위해.

제안 방법

• ALGRNet는 검출된 얼굴 랜드마크를 기반으로 AU 관련 근육 영역을 동적으로 식별하는 적응형 영역 학습 모듈을 사용하여 고정 격자나 사전 정의된 패치 영역을 대체한다.
• 스킵-BiLSTM 네트워크는 국소 AU 특징 간의 이원적 시간적 및 관계적 의존성을 모델링하여 AU 브랜치 간 상호 촉진 및 억제를 가능하게 한다.
• 특징 융합 및 정제 모듈은 국소 AU 특징과 전반적 얼굴 표현을 통합하여 구분 능력을 향상시키고 비정규 AU 형태에 적응한다.
• 모델은 공개 AU 벤치마크(BP4D 및 DISFA)에서 사전 훈련된 후 FPara 데이터셋에서 얼굴 마비 중증도 평가를 위해 미세조정된다.
• 모델 아키텍처는 다중 작업 학습 목표를 사용하여 엔드 투 엔드 훈련을 수행한다: AU 검출 및 얼굴 마비 등급 부여.
• 클래스 활성화 맵을 시각화하여 주의 집중 영역과 상호 AU 관계를 검증하고, 공간적 및 관계적 모델링 향상 여부를 확인한다.

실험 결과

연구 질문

• RQ1 고정 격자 또는 수작업으로 정의된 패치 방법에 비해 적응형 랜드마크 유도 영역 학습 메커니즘이 AU 검출 정확도 향상에 기여하는가?
• RQ2 AU 관계의 스킵-BiLSTM 모델링이 특징 표현 및 분류 성능 향상에 어느 정도 기여하는가?
• RQ3 특징 융합 및 정제 모듈이 비정규 AU 영역의 국소 및 전반적 특징을 효과적으로 융합하는가?
• RQ4 최신 기술 수준의 AU 검출 모델이 임상적으로 관련성이 높은 얼굴 마비 중증도 평가에 효과적으로 이식 가능한가?
• RQ5 ALGRNet가 새로 수집한, 임상적으로 주석 처리된 얼굴 마비 데이터셋에서 기존 방법보다 더 잘 일반화되는가?

주요 결과

• ALGRNet는 두 가지 표준 AU 검출 벤치마크(BP4D 및 DISFA)에서 최신 기술 수준의 성능을 달성하여 뛰어난 AU 검출 정확도를 입증한다.
• FPara 얼굴 마비 데이터셋에서 ALGRNet는 평균 F1 점수 75.4%를 기록하여 다음으로 우수한 성능을 보인 J$̂$A-Net보다 2.6% 포인트 높게 성과를 냈다.
• ALGRNet의 평균 F1 점수는 트랜스포머 기반 베이스라인보다 2.8% 높아, 임상 작업을 위한 얼굴 역학 모델링의 효과성을 확인한다.
• 클래스 활성화 맵의 시각화 결과, ALGRNet는 AU 관련 영역을 정확히 국소화하고 개인 간 AU 간 양성/음성 상관관계를 포착함을 보여준다.
• 개인 간 얼굴의 다양성에도 불구하고, 모델은 일관되고 적응 가능한 주의 맵을 보이며 다양한 개인 및 AU 카테고리에 대해 잘 일반화된다.
• 제거 실험 결과, 각 구성 요소인 적응형 영역 학습, 스킵-BiLSTM, 융합 및 정제 모듈이 최종 성능 향상에 기여한다는 것이 확인되었다.