[논문 리뷰] Cross-Centroid Ripple Pattern for Facial Expression Recognition

Monu Verma, Prafulla Saxena외 2명|arXiv (Cornell University)|2022. 01. 16.

Emotion and Mood Recognition인용 수 5

한 줄 요약

이 논문은 두 반경에서의 리플(ripple) 간의 크로스-센터로드 관계를 모델링하여 매크로 및 마이크로 구조적 변형을 포착하는 새로운 특징 기술자인 크로스-센터로드 리플 패턴(CRIP)을 제안한다. 기울기 정보와 부분 영역 평균을 통합함으로써 자세, 조명, 노이즈 및 자발적 표정에 대한 강건성을 향상시켜, 도전적인 조건에서 일곱 가지 다양한 데이터셋에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

In this paper, we propose a new feature descriptor Cross-Centroid Ripple Pattern (CRIP) for facial expression recognition. CRIP encodes the transitional pattern of a facial expression by incorporating cross-centroid relationship between two ripples located at radius r1 and r2 respectively. These ripples are generated by dividing the local neighborhood region into subregions. Thus, CRIP has ability to preserve macro and micro structural variations in an extensive region, which enables it to deal with side views and spontaneous expressions. Furthermore, gradient information between cross centroid ripples provides strenght to captures prominent edge features in active patches: eyes, nose and mouth, that define the disparities between different facial expressions. Cross centroid information also provides robustness to irregular illumination. Moreover, CRIP utilizes the averaging behavior of pixels at subregions that yields robustness to deal with noisy conditions. The performance of proposed descriptor is evaluated on seven comprehensive expression datasets consisting of challenging conditions such as age, pose, ethnicity and illumination variations. The experimental results show that our descriptor consistently achieved better accuracy rate as compared to existing state-of-art approaches.

연구 동기 및 목표

• 기존의 국소 이진 패턴 기반 방법이 자세 변화, 조도 변화 및 자발적 표정을 다루는 데에 한계를 보이는 문제를 해결하기 위해.
• 광범위한 얼굴 영역에서 매크로 및 마이크로 구조적 변형을 모두 포착할 수 있는 특징 기술자를 개발하기 위해.
• 표정 구분에 핵심적인 영역인 눈, 코, 입에서 에지 특징 검출을 향상시키기 위해.
• 부분 영역 평균과 기울기 기반 인코딩을 통해 노이즈 및 조도 비정상성에 대한 강건성을 향상시키기 위해.
• 연령, 민족, 얼굴 자세의 다양성이 있는 다양한 데이터셋에서 일관된 성능을 달성하기 위해.

제안 방법

• CRIP는 국소 얼굴 영역 내에서 반경 r1과 r2에 해당하는 두 개의 리플을 생성하고, 각 리플을 부분 영역으로 나누어 다중 척도의 구조 패턴을 포착한다.
• 다른 공간 척도 간의 전이 패턴을 모델링하기 위해 리플 간의 크로스-센터로드 관계를 계산한다.
• 크로스-센터로드 리플 간의 기울기 정보를 사용하여 활성 얼굴 영역에서 두드러진 에지 특징을 강조한다.
• 픽셀 값에 대해 부분 영역 평균을 적용하여 조도 변화에 대한 노이즈 강건성과 안정성을 향상시킨다.
• 공간적, 기울기 기반, 중심점 기반 인코딩을 조합하여 종합적인 표정 표현을 위한 최종 기술자를 형성한다.
• 이 방법은 미세한 기하학적 왜곡에 대해 불변이며 다양한 얼굴 구성에 효과적이다.

실험 결과

연구 질문

• RQ1 다중 척도 리플 간의 크로스-센터로드 관계를 모델링하는 특징 기술자가 자세 및 표정 변화 조건에서 인식 성능을 향상시킬 수 있는가?
• RQ2 리플 간의 기울기 정보 통합이 핵심 얼굴 영역에서의 에지 특징 검출에 어느 정도 향상 기여하는가?
• RQ3 CRIP에서의 부분 영역 평균은 노이즈 및 조도 변화에 대한 강건성에 어떻게 기여하는가?
• RQ4 다양한 인구 통계적 및 환경적 변형이 있는 데이터셋에서 CRIP이 기존 최신 기술 수준의 방법을 초월하는가?
• RQ5 CRIP는 일반화 성능 향상을 위해 얼굴 표정의 매크로 및 마이크로 구조적 변형을 효과적으로 포착할 수 있는가?

주요 결과

• CRIP는 도전적인 조건에서 일곱 개의 벤치마크 얼굴 표정 데이터셋에서 뛰어난 정확도를 달성했으며, 항상 최신 기술 수준의 방법을 능가했다.
• 부분 영역 평균과 기울기 기반 인코딩 덕분에 조도 변화에 대해 강력한 강건성을 보였다.
• 눈, 코, 입과 같은 핵심 얼굴 영역에서 마이크로 구조적 세부 정보를 효과적으로 포착했으며, 이는 표정 구분에 매우 중요하다.
• 측면 시야 및 자발적 표정 샘플에서 성능 향상을 보여, 비면대면 자세에 대한 일반화 능력 향상이 확인되었다.
• 크로스-센터로드 관계 메커니즘이 공간 척도 간의 전이 패턴을 더 잘 모델링하여, 더 높은 분류 능력을 기여했다.
• 정량적 결과는 CRIP가 연령, 민족, 자세 다양성이 있는 데이터셋에서 일관된 슈퍼리어리티를 입증했다.