[논문 리뷰] Variable-state Latent Conditional Random Fields for Facial Expression Recognition and Action Unit Detection

Robert Walecki, Ognjen Rudovic외 2명|arXiv (Cornell University)|2015. 10. 13.

Emotion and Mood Recognition참고 문헌 5인용 수 5

한 줄 요약

이 논문은 시퀀스에 따라 명목형 또는 순서형 잠재 상태 간에 동적으로 전환하는 변수 상태 잠재 조건화 마르코프 모델(VSL-CRF)을 제안한다. 이는 얼굴 표정 인식 및 액션 유닛(AU) 검출에 적합한 동적 동역학을 기반으로 하며, 그래프-라플라시안 사후 정규화를 통합함으로써 기존 L-CRF보다 일반화 능력을 향상시켜 CK+, GEMEP-FERA, DISFA 데이터셋에서 모두 표정 인식 및 프레임 단위 AU 검출에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Automated recognition of facial expressions of emotions, and detection of facial action units (AUs), from videos depends critically on modeling of their dynamics. These dynamics are characterized by changes in temporal phases (onset-apex-offset) and intensity of emotion expressions and AUs, the appearance of which may vary considerably among target subjects, making the recognition/detection task very challenging. The state-of-the-art Latent Conditional Random Fields (L-CRF) framework allows one to efficiently encode these dynamics through the latent states accounting for the temporal consistency in emotion expression and ordinal relationships between its intensity levels, these latent states are typically assumed to be either unordered (nominal) or fully ordered (ordinal). Yet, such an approach is often too restrictive. For instance, in the case of AU detection, the goal is to discriminate between the segments of an image sequence in which this AU is active or inactive. While the sequence segments containing activation of the target AU may better be described using ordinal latent states, the inactive segments better be described using unordered (nominal) latent states, as no assumption can be made about their underlying structure (since they can contain either neutral faces or activations of non-target AUs). To address this, we propose the variable-state L-CRF (VSL-CRF) model that automatically selects the optimal latent states for the target image sequence. To reduce the model overfitting either the nominal or ordinal latent states, we propose a novel graph-Laplacian regularization of the latent states. Our experiments on three public expression databases show that the proposed model achieves better generalization performance compared to traditional L-CRFs and other related state-of-the-art models.

연구 동기 및 목표

• 기존 잠재 CRF 모델에서 고정된 잠재 상태 구조(명목형 또는 순서형)의 한계를 해결하기 위해.
• 각 시퀀스에 맞게 데이터 기반 최적의 잠재 상태 유형(명목형 또는 순서형)을 자동 선택함으로써 다양한 표정 동역학을 보다 잘 모델링하기 위해.
• 잠재 상태에 대해 그래프-라플라시안 정규화를 도입하여 과적합을 줄이고 모델의 강건성을 향상시키기 위해.
• 최신 기술 수준의 모델들과 비교해 순서 기반 얼굴 표정 인식 및 프레임 단위 AU 검출에서 뛰어난 성능을 달성하기 위해.
• 얼굴 표정의 시간적 동역학에 적응함으로써 다양한 데이터셋 간의 일반화 능력을 향상시키기 위해.

제안 방법

• 입력 시퀀스별로 데이터 기반 최적화에 따라 잠재 상태 유형(명목형 또는 순서형)을 동적으로 선택하는 변수 상태 잠재 조건화 마르코프 모델(VSL-CRF)을 제안한다.
• 잠재 상태 표현을 제약하기 위해 새로운 그래프-라플라시안 정규화를 도입하여, 부드러운 표현을 유도하고 명목형 또는 순서형 구조에 대한 과적합을 줄인다.
• 세 가지 학습 전략(VSLm, VSLd, VSLem)을 활용하며, 각 전략은 학습 중 잠재 상태 유형 최적화 방식에서 차이를 보이며, VSLem에서 가장 뛰어난 성능을 보였다.
• 사후 정규화를 통한 EM 유사 최적화를 적용하여 각 시퀀스에서 명목형 또는 순서형 상태로의 선택을 유도함으로써 수렴성과 일반화 능력을 향상시킨다.
• 추출된 이미지 특징을 사용하여 영상 시퀀스에 모델을 적용하고, 발현의 시작-정점-종료 단계와 강도 변화를 인코딩하는 잠재 상태를 통해 시간적 동역학을 모델링한다.
• 액션 유닛(AU) 검출의 황금 표준으로서 얼굴 운동 코딩 체계(FACS)를 활용하여 근육 활성화 패tern을 정밀하게 모델링한다.

실험 결과

연구 질문

• RQ1 잠재 CRF 모델이 얼굴 표정과 AUs의 시간적 동역학을 더 잘 포착하기 위해 명목형 또는 순서형 잠재 상태를 동적으로 선택할 수 있는가?
• RQ2 그래프-라플라시안 제약 조건을 가진 사후 정규화가 얼굴 표정 및 AU 검출 작업의 일반화 능력을 향상시키는가?
• RQ3 VSL-CRF의 성능은 다양한 얼굴 표정 데이터셋에서 기존 L-CRF 및 최신 기술 수준의 모델과 비교해 어떻게 되는가?
• RQ4 모델이 각 시퀀스에 맞게 잠재 상태 구조를 적응시킬 수 있는 능력이 미세하거나 강도가 변하는 표정의 인식에 얼마나 기여하는가?
• RQ5 통합 프레임워크를 사용해 감정 인식과 프레임 단위 AU 검출을 효과적으로 처리할 수 있는가?

주요 결과

• VSL-CRF 모델은 얼굴 표정 인식에서 CK+ 데이터셋에서 최신 기술 수준의 성능을 달성했으며, 기존 L-CRF 및 다른 SOTA 모델을 능가했다.
• GEMEP-FERA 데이터셋에서 VSL-CRF는 사후 정규화를 적용한 결과, 프레임 단위 AU 검출 F1 스코어 69.5%를 기록했으며, 베이스라인 모델보다 1.6%포인트 높았다.
• DISFA 데이터셋에서 VSL-CRF는 AU 검출 평균 F1 스코어 68.7%를 달성하여 다양한 데이터 분포에 대한 강력한 일반화 능력을 보였다.
• 사후 정규화는 모델의 강건성을 크게 향상시켜 CK+ 데이터셋에서 F1-시퀀스 기반 측정치를 67.9%에서 69.5%로 상승시켰다.
• 모델은 기쁨이 강한 순서형 구조를 보이며, 다른 감정은 명목형 상태로 더 잘 모델링됨을 학습함으로써 잠재 상태 선택 메커니즘의 적응 가능성과 타당성을 확인했다.
• 크로스 데이터셋 평가에서 성능 저하가 심각하게 발생했으며, 예를 들어 GEMEP-FERA에서 60.2%에서 39.2%로 감소하여 데이터셋 특화 모델링의 중요성과 분포 이동에 대한 모델의 적응 능력을 시사했다.