[논문 리뷰] Deep Learning for Micro-expression Recognition: A Survey

Yante Li, Jinsheng Wei외 3명|arXiv (Cornell University)|2021. 07. 06.

Advanced Computing and Algorithms인용 수 5

한 줄 요약

이 종합 검토는 딥 러닝(DL)-기반 미표정 인식(MER)에 대해 데이터셋, DL 파이프라인, 아키텍처, 손실 함수 및 훈련 전략을 포함해 포괄적인 리뷰를 제공한다. 이 논문은 DL-MER를 위한 새로운 분류 체계를 제안하며, 소규모 및 저강도 데이터와 같은 핵심 과제를 밝히고, 다중모달 융합, 해석 가능성 및 실제 환경에서의 강인성 향상 방향을 제시하여 이 분야에서 첫 번째 체계적인 종합 검토로 기능한다.

ABSTRACT

Micro-expressions (MEs) are involuntary facial movements revealing people's hidden feelings in high-stake situations and have practical importance in medical treatment, national security, interrogations and many human-computer interaction systems. Early methods for MER mainly based on traditional appearance and geometry features. Recently, with the success of deep learning (DL) in various fields, neural networks have received increasing interests in MER. Different from macro-expressions, MEs are spontaneous, subtle, and rapid facial movements, leading to difficult data collection, thus have small-scale datasets. DL based MER becomes challenging due to above ME characters. To date, various DL approaches have been proposed to solve the ME issues and improve MER performance. In this survey, we provide a comprehensive review of deep micro-expression recognition (MER), including datasets, deep MER pipeline, and the bench-marking of most influential methods. This survey defines a new taxonomy for the field, encompassing all aspects of MER based on DL. For each aspect, the basic approaches and advanced developments are summarized and discussed. In addition, we conclude the remaining challenges and and potential directions for the design of robust deep MER systems. To the best of our knowledge, this is the first survey of deep MER methods, and this survey can serve as a reference point for future MER research.

연구 동기 및 목표

• 2016년 이후 딥 러닝 기반 미표정 인식(MER) 기법에 대한 체계적인 리뷰를 제공하기 위해.
• 인식 파이프라인의 모든 단계를 포함하는 DL-MER를 위한 새로운 분류 체계를 수립하기 위해.
• MER에서 동적 네트워크 입력, 네트워크 블록, 훈련 전략 및 손실 함수의 강점과 한계를 분석하기 위해.
• 데이터 부족, 모델 강인성 및 실생활 적용과 관련된 열린 과제를 특정하기 위해.
• 윤리적 우려 사항, 즉 개인정보 보호, 데이터 편향 및 MER 시스템의 투명성에 대해 논의하기 위해.

제안 방법

• 이 검토는 IEEE TPAMI, ACM MM 등 주요 저널 및 컨퍼런스에 게재된 100篇 이상의 딥 러닝 기반 MER 논문을 체계적으로 분석한다.
• 3D CNN, RNN, Transformer 및 하이브리드 모델을 포함한 MER에서 사용된 딥 러닝 아키텍처를 분류하고 평가한다.
• 광학 흐름, LBP-TOP 및 원본 영상 프레임과 같은 입력 표현 방식을 검토하여 미세한 얼굴 운동을 포착하는 데의 효과를 평가한다.
• 데이터 증강, 전이 학습 및 교차 엔트로피, 트리플릿 손실과 같은 손실 함수를 포함한 훈련 전략을 검토한다.
• CASME II, SAMER 및 MFED와 같은 벤치마크 데이터셋을 기반으로 성능을 평가하고 최신 기술 모델들을 비교한다.
• 다중모달 융합(예: 얼굴 신호와 생리적 신호 융합) 및 경량 다중 스트림 네트워크와 같은 새로운 추세를 논의한다.

실험 결과

연구 질문

• RQ1 현대 MER 시스템에서 주로 사용되는 딥 러닝 아키텍처와 입력 표현 방식은 무엇이며, 성능 측면에서 어떻게 비교될 수 있는가?
• RQ2 훈련 전략과 손실 함수는 MER 모델의 강인성과 정확성에 어떤 영향을 미치는가?
• RQ3 소규모, 저강도 및 노이즈가 많은 미표정 데이터로 인해 발생하는 주요 과제는 무엇인가?
• RQ4 다중모달 데이터(예: 얼굴 신호 + 생리적 신호)는 어떻게 MER 성능 향상과 일반화 능력을 향상시킬 수 있는가?
• RQ5 MER에서 발생하는 윤리적 및 개인정보 보호 문제들은 무엇이며, 연구 및 실생활 응용에서 어떻게 완화될 수 있는가?

주요 결과

• 이 검토는 3D CNN과 주목적 기반 모델(예: Transformer)이 미표정의 시공간 역학을 포착하는 데 가장 효과적인 아키텍처로 밝혀졌다.
• 광학 흐름과 LBP-TOP 특징은 움직임 감도를 향상시켜 소규모 데이터셋에서 성능을 크게 향상시킨다.
• 제한된 훈련 데이터로 인해 일반화 능력을 향상시키기 위해 데이터 증강과 전이 학습이 필수적이다.
• 특히 얼굴 신호와 생리적 신호를 융합한 다중모달 융합은 강인성과 정확도 향상에 잠재력을 보이고 있다.
• 현재 딥 러닝 기반 MER 시스템은 자세 변화, 조명 변화 및 동시에 발생하는 거시표정으로 인해 실생활 적용에 어려움을 겪고 있다.
• 개인정보 보호, 데이터 편향 및 모델 투명성과 같은 윤리적 우려 사항은 MER 시스템의 책임감 있는 적용을 위한 주요 장벽이다.