[논문 리뷰] Efficient Facial Expression Analysis For Dimensional Affect Recognition Using Geometric Features

Vassilios Vonikakis, Stefan Winkler|arXiv (Cornell University)|2021. 06. 15.

Emotion and Mood Recognition참고 문헌 22인용 수 4

한 줄 요약

이 논문은 기하 특징과 부분 최소 제곱법(Partial Least Squares, PLS) 회귀를 사용하여 차원적 정서 인식을 위한 계산 비용이 낮은 얼굴 표정 분석 시스템을 제안한다. 2차원 얼굴 랜드마크에서 동시에 각성(Arousal), 공감(Valence), 강도(Intensity)를 추정하며, 딥 러닝 모델과 유사한 성능을 달성하면서도 계산 비용을 크게 줄였고, 학습된 특징의 직관적인 해석 가능성을 제공한다.

ABSTRACT

Despite their continued popularity, categorical approaches to affect recognition have limitations, especially in real-life situations. Dimensional models of affect offer important advantages for the recognition of subtle expressions and more fine-grained analysis. We introduce a simple but effective facial expression analysis (FEA) system for dimensional affect, solely based on geometric features and Partial Least Squares (PLS) regression. The system jointly learns to estimate Arousal and Valence ratings from a set of facial images. The proposed approach is robust, efficient, and exhibits comparable performance to contemporary deep learning models, while requiring a fraction of the computational resources.

연구 동기 및 목표

• 실세계의 낮은 강도의 상황에서 분류 기반 얼굴 표정 인식의 한계를 해결하기 위해 차원적 정서 모델을 채택한다.
• 비구속적(‘자연 그대로’) 조건에서도 효과적으로 작동하는 경량이고 효율적인 FEA 시스템을 개발한다.
• 오직 기하 얼굴 특징을 사용하여 각성, 공감, 강도를 동시에 추정할 수 있도록 한다.
• 얼굴 랜드마크 간의 거리를 입력 특징으로 활용하여 모델의 해석 가능성을 확보한다.
• 딥 러닝 모델과 동등한 성능를 달성하면서도 자원 소비를 극도로 줄인다.

제안 방법

• 입력 이미지에서 2차원 얼굴 랜드마크를 검출하기 위해 감독 내림표법(Supervised Descent Method, SDM)을 사용한다.
• 랜드마크 기반 얼굴 정면화 기법을 적용하여 머리 자세의 변동을 정규화함으로써 비정면 시각에 대한 강건성을 향상시킨다.
• 49개의 얼굴 랜드마크 간의 1176개의 쌍별 거리를 기하 특징으로 추출하여 정서 표현을 위한 특징로 사용한다.
• 기하 특징에서 동시에 각성, 공감, 강도를 예측하기 위해 부분 최소 제곱법(Partial Least Squares, PLS) 회귀 모델을 훈련시킨다.
• 데이터 증강을 위해 MorphSet 프레임워크를 활용하여 분류 기반 데이터셋을 균형 잡힌, 차원적 AVI 레이블이 부여된 데이터셋으로 변환한다.
• 다양한 실세계 데이터 분포에서의 일반화 및 안정성이 뛰어나 29개의 성분을 가진 PLS를 최종 모델로 선정한다.

실험 결과

연구 질문

• RQ1 기하 특징 기반 접근법이 딥 러닝 모델과 비교해도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 다양한 조명 조건과 자세에서 실세계 조건에서 제안된 시스템의 성능는 어떠한가?
• RQ3 학습된 기하 특징이 심리생리학적으로 관찰된 얼굴 변형 패턴과 어느 정도 일치하는가?
• RQ4 외부 분포에서의 일반화 능력 측면에서 PLS 회귀가 릿지(Ridge)나 PCR과 같은 다른 회귀 방법보다 뛰어난가?
• RQ5 모델의 예측 결과가 얼굴 해부학적 특징과 정서적 의미 측면에서 의미 있는 방식으로 해석될 수 있는가?

주요 결과

• PLS 기반 시스템은 테스트 세트에서 각성에 대해 평균 제곱 오차(MSE) 0.0314, 공감에 대해 0.0388, 강도에 대해 0.0281을 기록하여 딥 러닝 모델과 유사한 성능를 입증했다.
• 시험한 모든 회귀 방법 중에서 29개 성분을 가진 PLS가 라이브 웹캠 피드에서의 정성적 테스트에서 가장 안정적이고 강건한 성능를 보였으며, 미리 보지 않은 데이터 분포로의 일반화 능력이 뛰어나다는 것을 시사한다.
• 각성에 가장 기여하는 기하 특징은 눈과의 상대적 위치에서 눈썹 내측 부분 간의 거리로, 고각성 표정에 대한 심리생리학적 관찰과 일치한다.
• 입꼬리의 타원도 증가하고 눈썹 내측 부분이 상향 이동할수록 공감 수준이 높아지며, 이는 진짜 미소와 가짜 미소에 대한 연구 결과와 일치한다.
• 강도 예측은 주로 눈썹 내측 부분에서 눈까지의 거리와 입꼬리의 타원도를 포함한 특징들의 조합으로 이루어지며, 이는 얼굴 변형의 강도를 반영한다.
• PLS 모델의 가중치를 통해 정서와 관련된 얼굴 특징의 기여도를 직관적으로 해석할 수 있었으며, 비주얼라이제이션에서 두꺼운 선과 진한 색상은 예측된 정서 값에 더 큰 기여를 한다는 것을 나타냈다.