[논문 리뷰] A Review on Facial Micro-Expressions Analysis: Datasets, Features and Metrics

Walied Merghani, Adrian K. Davison외 1명|arXiv (Cornell University)|2018. 05. 07.

Emotion and Mood Recognition참고 문헌 73인용 수 48

한 줄 요약

얼굴의 마이크로 익스프레션 데이터 세트, 특징 표현, 평가 지표에 대한 포괄적 고찰로, 자동 마이크로 익스프레션 분석의 도전 과제와 향후 방향을 강조한다.

ABSTRACT

Facial micro-expressions are very brief, spontaneous facial expressions that appear on the face of humans when they either deliberately or unconsciously conceal an emotion. Micro-expression has shorter duration than macro-expression, which makes it more challenging for human and machine. Over the past ten years, automatic micro-expressions recognition has attracted increasing attention from researchers in psychology, computer science, security, neuroscience and other related disciplines. The aim of this paper is to provide the insights of automatic micro-expressions and recommendations for future research. There has been a lot of datasets released over the last decade that facilitated the rapid growth in this field. However, comparison across different datasets is difficult due to the inconsistency in experiment protocol, features used and evaluation methods. To address these issues, we review the datasets, features and the performance metrics deployed in the literature. Relevant challenges such as the spatial temporal settings during data collection, emotional classes versus objective classes in data labelling, face regions in data analysis, standardisation of metrics and the requirements for real-world implementation are discussed. We conclude by proposing some promising future directions to advancing micro-expressions research.

연구 동기 및 목표

• 공개적으로 이용 가능한 얼굴 마이크로 익스프레션 데이터 세트를 요약하고 자발성, 샘플링 속도, 라벨링에 따라 분류한다.
• 마이크로 익스프레션 인식을 위해 사용된 특징 표현과 그 역사적 발전을 검토한다.
• 마이크로 익스프레션 연구에서 사용된 성능 지표와 평가 프로토콜을 분석한다.
• 연구 간 비교 가능성에 영향을 주는 주요 도전 과제와 표준화 격차를 식별한다.
• 마이크로 익스프레션 연구를 발전시키기 위한 권고 및 향후 방향을 제시한다.

제안 방법

• 데이터 세트(자발적 및 비자발적)를 수록하고 주요 속성(fps, 해상도, 참가자 수, 감정, FACS 코딩)을 비교한다.
• 특징 추출 방법(3D HOG, LBP-TOP, HOOF, GDs, 딥 러닝)의 조사와 시간에 따른 진화를 살펴본다.
• 연구들에서 보고된 성능 지표와 평가 설정(LOS0, LOVO 등)을 요약한다.
• 자극 설계, 고속 촬영, 윤리적 측면 등 데이터 수집의 도전 과제와 라벨링 이슈(감정 대 객관적 클래스)를 논의한다.
• 발견을 종합하여 데이터 세트, 표준화 및 실세계 적용 가능성에 대한 방향을 제시한다.

실험 결과

연구 질문

• RQ1 공개적으로 이용 가능한 마이크로 익스프레션 데이터 세트가 무엇이며 자발성, 프레임 속도, 라벨링에서 어떻게 다릅니까?
• RQ2 마이크로 익스프레션 인식에 가장 효과적이었던 특징 표현은 무엇이며 어떻게 발전해 왔습니까?
• RQ3 어떤 평가 프로토콜과 지표가 사용되며 이것이 연구 간 비교 가능성에 어떻게 영향을 줍니까?
• RQ4 마이크로 익스프레션 분석의 실제 적용을 방해하는 주요 도전 과제는 무엇이며 향후 연구가 이를 어떻게 해결할 수 있습니까?
• RQ5 향후 연구를 위해 데이터 세트, 특징, 지표를 표준화하기 위한 권고안은 무엇입니까?

주요 결과

• 자발적이지 않은 데이터 세트는 자세 변경과 공개 가용성의 한계로 인해 실제 응용에 덜 적합하다.
• CASME II 및 SAMM과 같은 자발적 데이터 세트는 높은 프레임 속도와 다양한 참가자를 제공하여 인식 작업에 유리하다.
• LBP-TOP은 초기 마이크로 익스프레션 연구에서 지배적인 특징이었고, 3DHOG와 HOOF는 각각 초기 및 이후 연구에서 기여했고; 딥 러닝은 등장하고 있지만 데이터 크기에 의해 여전히 한계가 있다.
• 데이터 세트 간 성능은 프로토콜 차이로 인해 크게 달라지므로 표준화된 벤치마크와 지표의 필요성이 강조된다.
• 참가자 다양성, 높은 시간/공간 해상도, FACS 라벨링은 마이크로 익스프레션 연구에서 CASME II와 SAMM의 주요 이점이다.