[논문 리뷰] Meta-Auxiliary Learning for Micro-Expression Recognition

Jingyao Wang, Yunhan Tian외 4명|arXiv (Cornell University)|2024. 04. 18.

Speech Recognition and Synthesis인용 수 5

한 줄 요약

LightmanNet은 보조 이미지 정렬 과제를 활용하여 마이크로 표정 인식을 안내하는 듀얼-브랜치 메타-보조 학습 프레임워크를 도입하여 제한된 데이터에서의 빠른 적응과 일반화 향상을 가능하게 한다.

ABSTRACT

Micro-expressions (MEs) are involuntary movements revealing people's hidden feelings, which has attracted numerous interests for its objectivity in emotion detection. However, despite its wide applications in various scenarios, micro-expression recognition (MER) remains a challenging problem in real life due to three reasons, including (i) data-level: lack of data and imbalanced classes, (ii) feature-level: subtle, rapid changing, and complex features of MEs, and (iii) decision-making-level: impact of individual differences. To address these issues, we propose a dual-branch meta-auxiliary learning method, called LightmanNet, for fast and robust micro-expression recognition. Specifically, LightmanNet learns general MER knowledge from limited data through a dual-branch bi-level optimization process: (i) In the first level, it obtains task-specific MER knowledge by learning in two branches, where the first branch is for learning MER features via primary MER tasks, while the other branch is for guiding the model obtain discriminative features via auxiliary tasks, i.e., image alignment between micro-expressions and macro-expressions since their resemblance in both spatial and temporal behavioral patterns. The two branches of learning jointly constrain the model of learning meaningful task-specific MER knowledge while avoiding learning noise or superficial connections between MEs and emotions that may damage its generalization ability. (ii) In the second level, LightmanNet further refines the learned task-specific knowledge, improving model generalization and efficiency. Extensive experiments on various benchmark datasets demonstrate the superior robustness and efficiency of LightmanNet.

연구 동기 및 목표

• 마이크로 표정 인식(MER)에서 데이터 희소성과 불균형 클래스 문제를 해결한다.
• 미세하고 빠른 ME 특징을 포착하되 잡음과 피상적 상관관계를 피한다.
• 보조 과제를 활용하여 MER 표현을 더 판별 가능하게 유도한다.
• 생태계 수준의 MER 지식을 추출하기 위해 이중 수준 최적화 프레임워크를 도입한다.
• 다수 MER 벤치마크에서 강인성과 효율성을 시연한다.

제안 방법

• 이중-브랜치 아키텍처가 2D CNN 인코더를 공유하고 3D 시간 인코딩 모듈을 포함한다.
• 주 브랜치는 교차 엔트로피 손실로 마이크로 표정 인식 학습을 수행한다.
• 보조 브랜치는 최대 평균 차이(MMD)에 의해 정량화된 마이크로- 및 매크로 표정 간의 이미지 정렬을 수행한다.
• 보조 과제 손실은 특징 학습을 판별적이고 기하학적으로 일관된 표현으로 유도한다.
• 이중 수준 최적화: 1단계는 두 손실을 통해 작업 특정 MER 지식을 최적화하고; 2단계는 작업 간 지식을 증류하여 일반 MER 지식을 얻는다.

실험 결과

연구 질문

• RQ1 보조 이미지 정렬 과제가 제한된 데이터 하에서 판별적 MER 특징을 개선할 수 있는가?
• RQ2 이중 수준 메타-보조 최적화가 데이터셋 간 MER의 일반화와 효율성을 향상시키는가?
• RQ3 LightmanNet은 소샷 MER 설정에서 다른 메타러닝 및 MER 벤치마크에 비해 어떤 성능을 보이는가?
• RQ4 보조 과제 가이드와 백본 선택이 MER 성능에 어떤 영향을 주는가?
• RQ5 제안된 구성요소들이 데이터 희소성과 클래스 간 차이에 대한 강인성을 향상시키는가?

주요 결과

Method	SAMM ACC	SAMM F1	SMIC ACC	SMIC F1	CASME ACC	CASME F1	CASME II ACC	CASME II F1	CAS(ME)² ACC	CAS(ME)² F1
LightmanNet	81.83 ± 0.44	82.93 ± 0.35	85.19 ± 0.34	83.83 ± 0.34	87.83 ± 0.60	89.78 ± 0.59	93.48 ± 0.42	90.49 ± 0.47	85.23 ± 0.26	82.22 ± 0.29

• LightmanNet은 표준 및 소샷 설정에서 다수의 MER 벤치마크에서 최첨단 또는 경쟁력 있는 정확도 및 F1을 달성한다.
• 소샷 MER에서 LightmanNet은 MAML, Reptile, ANIL, ProtoNet 및 기타 메타러닝 벤치마크뿐 아니라 여러 깊은 MER 방법을 능가한다.
• 보조 이미지 정렬 과제(MMD에 의해 안내)가 MER 성능을 해치지 않으면서 학습 표현과 일반화를 향상시킨다.
• 이중 수준 최적화는 제한된 데이터로도 미확인 MER 작업에 빠르게 적응하고 모델 효율성을 유지한다.
• 실험 결과는 데이터 희소성과 클래스 간 변동성에 대한 강인성을 보여주며, 많은 벤치마크에 비해 학습 시간과 모델 크기가 유리함을 시사한다.