[논문 리뷰] FERA 2017 - Addressing Head Pose in the Third Facial Expression Recognition and Analysis Challenge

Michel Valstar, Enrique Sánchez외 6명|arXiv (Cornell University)|2017. 02. 14.

Emotion and Mood Recognition참고 문헌 26인용 수 7

한 줄 요약

이 논문은 BP4D+ 데이터셋을 사용하여 다양한 머리 자세에서 행동 단위(AU) 검출 및 강도 추정에 중점을 둔 FERA 2017을 제시한다. 3D 데이터에서 유도된 9개의 합성 2D 시야를 도입하고, 전방 시야에서만 훈련된 기하 특징을 활용한 CRF/CORF 모델을 적용하여, 훈련 데이터가 제한된 상황에서도 다양한 시야에서 우수한 성능를 보이며, 특히 시야 1과 9와 같은 극단적 자세에서의 향상 여지가 크다는 것을 입증한다.

ABSTRACT

The field of Automatic Facial Expression Analysis has grown rapidly in recent years. However, despite progress in new approaches as well as benchmarking efforts, most evaluations still focus on either posed expressions, near-frontal recordings, or both. This makes it hard to tell how existing expression recognition approaches perform under conditions where faces appear in a wide range of poses (or camera views), displaying ecologically valid expressions. The main obstacle for assessing this is the availability of suitable data, and the challenge proposed here addresses this limitation. The FG 2017 Facial Expression Recognition and Analysis challenge (FERA 2017) extends FERA 2015 to the estimation of Action Units occurrence and intensity under different camera views. In this paper we present the third challenge in automatic recognition of facial expressions, to be held in conjunction with the 12th IEEE conference on Face and Gesture Recognition, May 2017, in Washington, United States. Two sub-challenges are defined: the detection of AU occurrence, and the estimation of AU intensity. In this work we outline the evaluation protocol, the data used, and the results of a baseline method for both sub-challenges.

연구 동기 및 목표

• 특히 비전방 시야에서의 얼굴 표정 인식을 위한 벤치마크 데이터의 부족을 해결한다.
• 기존 벤치마크에서 다루지 않은 바람직하지만 미흡한 분야인 AU 강도 추정의 평가를 가능하게 한다.
• 단일 표정 클립을 넘어서 자연스러운 표정 전환을 포함한 장기적이고 분할되지 않은 영상 시퀀스를 지원한다.
• 표준화된 평가 프로토콜을 제공하여 얼굴 표정 인식 시스템의 비교 가능성과 재현 가능성을 향상시킨다.
• 통제된 실험실 환경과 실제 환경 사이의 격차를 줄이기 위해 다양한 카메라 각도와 강도를 시뮬레이션한다.

제안 방법

• BP4D+ 데이터셋의 3D 소스 데이터에서 머리 자세 기반 기하 투영을 사용해 9개의 합성 2D 시야를 유도한다.
• 전방 시야(시야 5와 6)에서만 훈련된 조건부 랜덤 필드(CRF) 및 제약 조건이 있는 순서형 회귀 숲(CORF) 모델을 사용하여 비전방 시야로의 일반화를 보장한다.
• 추적된 얼굴 랜드마크에서 기하 특징을 추출하여 얼굴의 형태와 역학을 인코딩하고, 상관관계 기반 특징 선택(CFS)을 통해 차원을 감소시킨다.
• 시간 모델링을 위해 슬라이딩 윈도우 접근법(90프레임, 30프레임 스트라이드)을 적용하고, 프레임 수준의 예측을 최대우도 기반으로 집계한다.
• 비전방 시야를 표준 전방 시야 공간으로 투영하기 위해 프론탈라이제이션 기법을 사용하여 다양한 자세 간의 특징 일관성을 향상시킨다.
• 다양한 지표를 사용해 성능을 평가한다: AU 존재 여부에 대한 F1, 정확도, 2AFC; 강도 추정에 대한 ICC, RMSE, PCC.

실험 결과

연구 질문

• RQ1 전방 시야에서만 훈련된 얼굴 표정 인식 시스템이 실제 환경에서 극단적인 머리 자세에 효과적으로 일반화될 수 있는가?
• RQ2 훈련 데이터가 전방 자세에 국한된 경우, 다양한 카메라 시야에서 AU 강도 추정 성능가 어떻게 달라지는가?
• RQ3 자세 변화와 부분적 가림이 존재하는 상황에서 기하 특징과 CRF 모델링이 AU 검출 및 강도 추정에 얼마나 기여하는가?
• RQ4 특히 강도가 0인 AUs의 클래스 불균형이 강도 추정 모델의 신뢰성에 어떤 영향을 미치는가?
• RQ5 전방 데이터에서 훈련된 단일 모델이 기하 프론탈라이제이션과 시간 모델링을 통해 비전방 시야에서도 우수한 성능을 달성할 수 있는가?

주요 결과

• 기준 시스템은 전방 시야 외의 모든 시야에서 비현저한 성능을 보였으며, F1 스코어가 전방 시야와 유사한 수준(예: 시야 4는 시야 5와 6와 거의 유사한 성능)이었다. 이는 시야 4에서의 훈련 데이터가 없음에도 불구하고 성능이 유지됨을 의미한다.
• 극단적 자세(예: 시야 1과 9)에서 성능이 크게 떨어져 심각한 자세 변화를 다루는 데 향상 여지가 크다는 것이 확인되었다.
• 강도 추정에 있어서 시스템은 항상 가장 흔한 클래스를 예측하는 것보다 높은 성능를 보였으며, 몇몇 AU에 대해 ICC 스코어가 0.5를 초과했지만, AU1, AU4, AU17와 같이 약 90%가 강도 0인 경우에 ICC가 낮게 유지되었다.
• RMSE와 ICC 결과가 모두 우연의 수준을 초월하여, 클래스 불균형에도 불구하고 모델이 의미 있는 강도 패턴을 학습했다는 것을 확인했다.
• 프론탈라이제이션 기법이 비전방 시야에서의 성능 향상에 기여했으며, 특히 시야 4에서 두드러진 효과를 보였다. 이는 기하 정규화가 자세에 기인한 변동성을 줄이는 데 도움이 된다는 것을 시사한다.
• 시간 모델링을 통한 CRF/CORF 모델은 단일 프레임 기반 기준보다 뛰어난 성능를 보였으며, 특히 프레임 누락이나 노이즈 발생 상황에서 시간 역학을 활용한 능력 덕분이었다.