[논문 리뷰] Advanced local motion patterns for macro and micro facial expression recognition

Benjamin Allaert, Ioan Marius Bilasco외 1명|arXiv (Cornell University)|2018. 05. 04.

Face recognition and analysis참고 문헌 42인용 수 12

한 줄 요약

이 논문은 매크로 및 마이크로 얼굴 표정을 모두 인식하기 위해 공간적-시간적 운동 일관성과 피부 탄성을 반영하는 새로운 局소 운동 패턴(LMP) 특징을 제안한다. 데이터 증강 없이도 마이크로 표정 데이터셋에서 최신 기술 수준의 성능(70.20% on CASME II, 67.68% on SMIC)을 달성하고, 매크로 표정 데이터셋에서도 경쟁력 있는 결과(97.25% on CK+, 84.58% on Oulu-CASIA)를 보이며, 조명, 자세, 강도 변화에 대한 강건성을 입증한다.

ABSTRACT

In this paper, we develop a new method that recognizes facial expressions, on the basis of an innovative local motion patterns feature, with three main contributions. The first one is the analysis of the face skin temporal elasticity and face deformations during expression. The second one is a unified approach for both macro and micro expression recognition. And, the third one is the step forward towards in-the-wild expression recognition, dealing with challenges such as various intensity and various expression activation patterns, illumination variation and small head pose variations. Our method outperforms state-of-the-art methods for micro expression recognition and positions itself among top-rank state-of-the-art methods for macro expression recognition.

연구 동기 및 목표

• 매크로 및 마이크로 얼굴 표정은 지속 시간, 강도, 공간적 범위에서 본질적으로 다르므로, 이 둘을 동시에 인식할 수 있는 통합적 접근법을 개발하는 것.
• 피부 탄성과 국소 운동 일관성을 반영하여 얼굴 운동을 새로운 공간-시간 기반 기술자로 모델링함으로써, 표면 질감과 반사율에서 유발되는 노이즈를 줄이는 것.
• 조명 변화(근적외선 포함), 소규모 머리 자세 변화, 부분적 또는 저강도 표정과 같은 실세계 과제에 대한 강건성을 향상시키는 것.
• 데이터 증강 또는 딥 러닝에 의존하지 않고도 표준 벤치마크 데이터셋에서 높은 성능을 달성하는 것.

제안 방법

• 이 방법은 국소 운동 패턴(LMP)을 도입하여, 표정의 중심부 주변의 작은 얼굴 영역에서 시간에 따른 변화를 분석함으로써 국소 운동 일관성을 인코딩하는 공간-시간 특징을 제공한다.
• LMP는 국소 전파와 일관성을 활용하여 운동의 불연속성을 필터링함으로써, 고강도 매크로 표정과 저강도 마이크로 표정 양쪽 모두에 효과적이다.
• 특징는 시간에 따른 광학 흐름과 국소 강도 변화를 통합하는 운동 에너지 모델을 사용하여 계산되며, 최적의 민감도를 확보하기 위해 각 데이터셋 별로 파라미터를 조정한다.
• 동일한 LMP 특징을 사용하여 매크로 및 마이크로 표정을 모두 처리하는 통합 프레임워크를 구축함으로써, 매크로와 마이크로 표정을 위한 별도의 파ip라인을 제거한다.
• 소규모 머리 자세 변화와 다양한 조명 조건에서 성능을 향상시키기 위해 LMP와 기하학적 특징을 결합한다.
• 파라미터 조정(λ, Δ, ρ, E, M, V, β, bin)은 각 데이터셋 별로 수행되어 해상도, 프레임 레이트, 조명 조건과 같은 획득 조건에 적응한다.

실험 결과

연구 질문

• RQ1 강도와 지속 시간이 상이한 매크로 및 마이크로 얼굴 표정의 역동성을 효과적으로 캡처할 수 있는 통합 운동 기술자가 가능한가?
• RQ2 표면 질감, 반사율, 매끄러움에서 발생하는 노이즈를 줄이기 위해 피부 탄성과 국소 운동 일관성을 어떻게 모델링할 수 있는가?
• RQ3 데이터 증강 없이도 LMP와 같은 수작업 특징이 딥 러닝 방법보다 마이크로 표정 인식에서 뛰어난 성능을 낼 수 있는가?
• RQ4 단일 특징 기반 접근법이 조명 변화 및 소규모 머리 자세 변화를 포함한 다양한 실외 조건에서도 강건한 성능을 달성할 수 있는가?
• RQ5 운동 특징과 기하학적 특징의 통합은 부분적 또는 저강도 표정에서 인식 성능을 어떻게 향상시키는가?

주요 결과

• 제안된 LMP 방법은 마이크로 표정 데이터셋 CASME II에서 70.20%의 인식 정확도를 달성하여 기존 최신 기술 수준의 방법들을 능가한다.
• SMIC 데이터셋에서는 가시광선 모odal에서 67.68%의 정확도를 기록했고, 근적외선 모달에서는 86.11%의 정확도를 달성하여 조명 변화에 대한 강력한 강건성을 입증한다.
• 매크로 표정 인식에서는 CK+에서 97.25%, Oulu-CASIA에서 84.58%, MMI에서 78.26%의 정확도를 기록하여 데이터 증강 없이도 최상위 수준의 성능을 확보한다.
• 조명 변화에 대해 매우 강건하며, 자연광 및 근적외선 조명 조건 모두에서 우수한 성능을 보인다.
• 통합된 접근법은 단일 특징을 사용하여 둘 다 효과적으로 처리함으로써 복잡성을 줄이고 다양한 표정 패턴에 대한 일반화 능력을 향상시킨다.
• 파라미터 설정은 각 데이터셋 별로 다르며, 최적의 값은 정의된 구간 내에서 찾았으며(예: λ ∈ [3,5], Δ = 0.5, ρ ∈ [0.75,1], bin ∈ [6,12]), 획득 조건에 대한 적응 가능성을 보여준다.