[논문 리뷰] An Overview of Facial Micro-Expression Analysis: Data, Methodology and Challenge

Xie Hong-xia, Ling Lo외 2명|arXiv (Cornell University)|2020. 12. 21.

Emotion and Mood Recognition인용 수 9

한 줄 요약

이 종합적 서베이는 얼굴 미세표정 인식(MER)에 대한 포괄적인 개요를 제공하며, 데이터 소스, 방법론, 핵심 과제를 다룹니다. 매크로에서 마이크로로의 적응, 정점 프레임 기반 인식, 행동 단위(AU) 기반 분석과 같은 새로운 접근 방식을 제안하면서도, 합성 데이터 생성을 통해 데이터 부족 문제를 해결하고 최근의 미세표정 탐지 기술 발전을 조명합니다. 논문은 데이터셋 편향, 얼굴 비대칭성, 사회 집단 편향과 같은 핵심 문제를 강조하며, 다중모달 융합과 강건한 특징 학습 분야의 향후 연구 방향을 제시합니다.

ABSTRACT

Facial micro-expressions indicate brief and subtle facial movements that appear during emotional communication. In comparison to macro-expressions, micro-expressions are more challenging to be analyzed due to the short span of time and the fine-grained changes. In recent years, micro-expression recognition (MER) has drawn much attention because it can benefit a wide range of applications, e.g. police interrogation, clinical diagnosis, depression analysis, and business negotiation. In this survey, we offer a fresh overview to discuss new research directions and challenges these days for MER tasks. For example, we review MER approaches from three novel aspects: macro-to-micro adaptation, recognition based on key apex frames, and recognition based on facial action units. Moreover, to mitigate the problem of limited and biased ME data, synthetic data generation is surveyed for the diversity enrichment of micro-expression data. Since micro-expression spotting can boost micro-expression analysis, the state-of-the-art spotting works are also introduced in this paper. At last, we discuss the challenges in MER research and provide potential solutions as well as possible directions for further investigation.

연구 동기 및 목표

• 최근 얼굴 미세표정 인식(MER) 기술의 발전에 대한 종합적 리뷰를 제공하기 위해.
• 제한적이고 편향된 데이터셋, 얼굴 비대칭성, 사회 집단 편향과 같은 MER의 핵심 과제를 식별하고 분석하기 위해.
• 매크로에서 마이크로로의 적응, 정점 프레임 기반 인식, AU 기반 분석과 같은 새로운 방법론적 방향을 탐색하기 위해.
• 합성 데이터 생성 기법이 MER 데이터셋의 데이터 부족 문제를 완화하고 다양성을 향상시키는 데 어떻게 기여하는지 조사하기 위해.
• 다중모달 융합, 특히 미세자극과 생리적 신호를 통한 정서 인식 향상 잠재력을 조사하기 위해.

제안 방법

• CASME II, SAMM, SMIC VIS, HS 등 기존 MER 데이터셋을 체계적으로 검토하며, 데이터 품질, 해상도, 프레임 레이트, 주석 표준에 중점을 둡니다.
• 매크로에서 마이크로로의 적응, 핵심 정점 프레임 기반 인식, AU 기반 인식의 세 가지 새로운 방법론적 패러다임을 분석하여 감지 민감도 향상에 기여합니다.
• 딥러닝 기반 모델과 하이브리드 접근 방식(예: 퍼지 분류기 및 가중치 퍼지 분류)을 평가하여 정서 레이블링의 모호성을 다룹니다.
• 훈련 데이터를 풍부하게 하고 주석 부담과 레이블 노이즈를 줄이기 위해 합성 데이터 생성 기법을 조사합니다.
• 자연스러운 비디오 시퀀스에서 종단간 탐지 및 인식을 가능하게 하는 미세표정 탐지 기법을 검토합니다.
• 미세자극, 음성, 생리적 신호(예: EDA, ECG)와 같은 다중모달 신호의 통합을 통해 인식의 강건성을 향상시키는 것을 제안합니다.

실험 결과

연구 질문

• RQ1 매크로에서 마이크로로의 적응은 미세표정 인식 모델의 이식성과 정확도를 어떻게 향상시킬 수 있는가?
• RQ2 정점 프레임은 짧은 지속 시간의 미세표정 탐지에 어떻게 기여하는가?
• RQ3 행동 단위(AU) 검출이 MER 시스템의 해석 가능성과 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 합성 데이터 생성 기법은 미세표정 데이터셋의 데이터 부족과 편향 문제를 얼마나 효과적으로 완화하는가?
• RQ5 얼굴 비대칭성과 사회 집단 편향(예: 내집단 불리함)은 MER 성능에 어떤 영향을 미치며, 이를 어떻게 해결할 수 있는가?

주요 결과

• METT 훈련 후에도 중국 참가자들 사이에서 내집단 불리함이 관찰되었으며, 외집단(백인) 대상자에 비해 내집단(아시아계) 대상자에 대한 인식 정확도가 높았다.
• 감정 표현에서의 얼굴 카이랄리티(좌우 비대칭성)는 충분한 분류 특징를 지닐 수 있으나, 현재 많은 MER 시스템은 이 현상을 활용하지 못하고 있다.
• 합성 데이터 생성 기법은 희귀하거나 표현이 부족한 표정에 대해 데이터셋을 풍부하게 하고 레이블링 비용을 줄이는 데 유망한 성과를 보이고 있다.
• 최근 MEGC2020 및 MER2020 경연 대회에서 보고된 바와 같이, 미세표정 탐지 기법은 크게 발전하였다.
• 미세자극과 생리적 신호(예: EDA, ECG)를 포함한 다중모달 융합은 정서 인식 성능 향상에 기여할 수 있으며, 이는 3,692개의 레이블링 클립을 포함한 미세자극 데이터셋의 공개를 통해 입증되었다.
• 특히 자연스러운 미세표정 데이터에서 주관적인 인간 주석의 영향으로 인해 레이블 노이즈와 주석 일관성 문제는 여전히 심각한 과제로 남아 있다.