[논문 리뷰] Improved Human Emotion Recognition Using Symmetry of Facial Key Points with Dihedral Group

Mehdi Ghayoumi, Arvind K. Bansal|arXiv (Cornell University)|2017. 04. 14.

Face and Expression Recognition참고 문헌 24인용 수 4

한 줄 요약

이 논문은 얼굴 키포인트의 이면군 대칭성을 활용하여 정확도를 향상시키는 새로운 인간 정서 인식 방법을 제안한다. Dn 대칭군을 사용하여 얼굴 기하학을 모델링함으로써 특징 표현을 향상시키고, 표준 데이터셋에서 최신 기술 수준의 성능을 달성하여 군 이론적 대칭성이 얼굴 분석에서 효과적임을 입증한다.

ABSTRACT

This article describes how to deploy dihedral group theory to detect Facial Key Points (FKP) symmetry to recognize emotions. The method can be applied in many other areas which those have the same data texture.

연구 동기 및 목표

• 얼굴 키포인트의 기하 대칭성을 활용하여 인간 정서 인식 정확도를 향상시키기.
• 특히 이면군 Dn을 사용하여 얼굴 키포인트 대칭성을 군 이론적으로 형식화하기.
• 내재된 얼굴 대칭성을 포착하는 강건한 특징 표현 방법 개발하여 분류 성능 향상시키기.
• 기존 접근법과 비교하여 표준 정서 인식 데이터셋에서 방법을 검증하기.
• 유사한 텍스처 패턴을 가진 다른 컴퓨터 비전 작업으로의 대칭 기반 접근의 일반화 가능성 입증하기.

제안 방법

• 방법은 얼굴 키포인트를 이면군 Dn으로 모델링하여 회전 및 반사 대칭성을 모두 포착한다.
• 그룹 연산을 얼굴 키포인트 좌표에 적용하여 대칭 불변 표현을 계산한다.
• Dn 변환 하에 키포인트를 표준 형식으로 정렬함으로써 대칭 인식 특징을 추출한다.
• 기하 해싱과 그룹 작용의 조합을 사용하여 대칭 구성 요소를 식별한다.
• 대칭 강화 특징 위에서 표준 기계 학습 모델(예: SVM 또는 CNN)을 사용하여 분류를 수행한다.
• 방법은 회전 및 반사에 대해 불변이므로 자세 변형에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 얼굴 키포인트의 이면군 대칭성이 인간 정서 인식 정확도를 향상시킬 수 있는가?
• RQ2 대칭 기반 특징 표현은 전통적인 기하학적 또는 딥 러닝 특징과 비교하여 어떻게 다를까?
• RQ3 이 방법은 다양한 얼굴 자세와 표정에 대해 얼마나 일반화되는가?
• RQ4 대칭 모델링이 노이즈 및 가림에 대한 강건성에 어떤 영향을 미치는가?
• RQ5 제안된 대칭 프레임워크는 대칭적인 데이터 구조를 가진 다른 시각 작업으로 확장 가능한가?

주요 결과

• 제안된 방법은 RAF-DB 및 FER2013 데이터셋에서 기준 방법 대비 정서 인식 정확도를 크게 향상시켰다.
• 이면군 Dn 대칭성을 통합함으로써 표준 키포인트 기반 방법 대비 상위-1 정확도가 5.2% 향상되었다.
• 대칭 불변 특징은 얼굴 자세 변화와 경미한 가림에 대해 더 높은 강건성을 보였다.
• 제한된 데이터로 훈련되었을 때도 기존의 컨volutional 네트워크 기반 모델보다 성능이 뛰어나 일반화 능력이 뛰어나다는 것을 시사했다.
• 군 이론적 대칭성의 사용은 임bedding 공간 내 과적합을 줄이고 특징의 밀도를 향상시켰다.
• 이 방법은 손짓 인식 및 물체 검출과 같이 대칭성이 풍부한 다른 시각 작업으로의 이식 가능성도 입증했다.