[논문 리뷰] Objective Class-based Micro-Expression Recognition through Simultaneous Action Unit Detection and Feature Aggregation

Ling Zhou, Qirong Mao외 1명|arXiv (Cornell University)|2020. 12. 24.

Emotion and Mood Recognition참고 문헌 41인용 수 13

한 줄 요약

이 논문은 그래프 컬러리션 네트워크(GCN)를 사용하여 행동 유닛(AU) 수준의 특징을 동시에 탐지하고 마이크로익스프레션 수준의 표현으로 융합하는 딥러닝 모델인 MER-auGCN을 제안한다. 통합된 AU 특징 학습을 위해 자기주의(self-attention)와 균형 잠재 손실 함수를 통합하고, 맞춤형 AU 지식그래프를 활용함으로써 MEGC 2018의 HDE 및 CDE 과제에서 최신 기술 수준의 성능을 달성하였으며, CDE 과제에서 86.7%의 WAR와 74.2%의 WF1을 기록하였다.

ABSTRACT

Micro-Expression Recognition (MER) is a challenging task as the subtle changes occur over different action regions of a face. Changes in facial action regions are formed as Action Units (AUs), and AUs in micro-expressions can be seen as the actors in cooperative group activities. In this paper, we propose a novel deep neural network model for objective class-based MER, which simultaneously detects AUs and aggregates AU-level features into micro-expression-level representation through Graph Convolutional Networks (GCN). Specifically, we propose two new strategies in our AU detection module for more effective AU feature learning: the attention mechanism and the balanced detection loss function. With those two strategies, features are learned for all the AUs in a unified model, eliminating the error-prune landmark detection process and tedious separate training for each AU. Moreover, our model incorporates a tailored objective class-based AU knowledge-graph, which facilitates the GCN to aggregate the AU-level features into a micro-expression-level feature representation. Extensive experiments on two tasks in MEGC 2018 show that our approach significantly outperforms the current state-of-the-arts in MER. Additionally, we also report our single model-based micro-expression AU detection results.

연구 동기 및 목표

• 자기 보고된 레이블의 주관성과 일관성 부족으로 인해 발생하는 감정 기반 마이크로익스프레션 인식의 한계를 해결하기 위해.
• 얼굴 랜드마크 탐지 과정의 오류 발생 가능성과 번거로움을 제거하기 위해, 통합된 모델에서 직접 AU 특징을 학습함으로써 이를 방지하기 위해.
• 그래프 기반 모델링을 통해 국소적인 AU 수준의 특징을 종합적인 마이크로익스프레션 수준의 표현으로 융합함으로써 마이크로익스프레션 인식 성능을 향상시키기 위해.
• 각 AU에 대해 별도의 훈련을 수행하지 않고도 AU 탐지 및 MER를 종합 최적화를 통해 엔드 투 엔드 학습이 가능하도록 하기 위해.
• 데이터베이스 간 일반화 능력이 뛰어나고未래 확장이 가능한 단일 모델 솔루션을 제공하여, 향후 더 많은 AU에 대한 적용을 지원하기 위해.

제안 방법

• 별도의 AU 모델이 필요 없도록, 동시에 행동 유닛(AU) 탐지와 마이크로익스프레션 인식을 수행하는 통합된 딥 네트워크를 도입한다.
• AU 탐지 모듈에서 자기주의 메커니즘을 활용하여 다양한 AU 간의 구분력 있는 영역에 초점을 맞춰 특징 학습을 향상시킨다.
• AU 탐지에서의 클래스 불균형 문제를 해결하기 위해 균형 잠재 손실 함수를 적용하여 희귀 AU와 빈도 높은 AU 간의 일반화 능력을 향상시킨다.
• AU와 객관적 레이블 I–V 간의 사전 관계를 인코딩한, 목적에 맞는 객관적 클래스 기반 AU 지식그래프를 구축한다.
• 지식그래프를 관계적 사전 지식으로 활용하여 그래프 컬러리션 네트워크(GCN)를 통해 AU 수준의 특징을 종합적인 마이크로익스프레션 수준의 표현으로 융합한다.
• 운동 동역학을 강조하기 위해 TV-L1 기반 옵티컬 플로우 입력을 처리함으로써 신원 편향을 감소시키고 데이터베이스 간 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 랜드마크 탐지나 각 AU에 대해 별도의 훈련 없이도, 통합된 딥러닝 모델이 마이크로익스프레션 내에서 다수의 행동 유닛(AU)을 효과적으로 탐지할 수 있는가?
• RQ2 AU 탐지와 마이크로익스프레션 인식을 공동으로 학습할 경우, 순차적 또는 독립적인 훈련 방식에 비해 성능 향상이 이루어지는가?
• RQ3 AU 간 관계를 담은 지식그래프를 통합할 경우, 객관적 클래스 기반 MER에서 특징 융합 및 인식 정확도 향상에 어느 정도 기여하는가?
• RQ4 제안된 모델은 다양한 데이터베이스(CASME II 및 SAMM 등) 간에서 교차 데이터셋 평가에서 일반화 성능을 보일 수 있는가?
• RQ5 AU 탐지 및 MER 손실을 종합 최적화하는 엔드 투 엔드 학습 방식이 기존 최신 기술 수준의 방법보다 더 나은 AU 탐지 성능을 달성할 수 있는가?

주요 결과

• MER-auGCN는 MEGC 2018의 HDE 과제에서 86.7%의 가중 평균 재현율(WAR)을 기록하여 이전 최신 기술 수준의 모든 방법을 초월하였다.
• CDE 과제에서는 74.2%의 가중 F1(WF1)을 기록하여 새로운 최신 기술 수준의 성능을 확립하였다.
• 제안된 모델는 [14]의 옵티컬 플로우 기반 방법보다 WAR에서 0.25점 향상되어, 공동 AU 탐지 및 GCN 기반 융합의 우수성을 입증하였다.
• AU 탐지 모듈은 7개의 AU에 대해 평균 F1 스코어 59.16%를 기록하였으며, 동일 벤치마크에서 STAPF(56.20%)를 초월하였다. 이는 단일 통합 모델임에도 불구하고 성능을 확보한 것이다.
• 모델는 강력한 교차 데이터베이스 일반화 능력을 보였으며, AU 탐지 과제에서 SAMM → CASME II 폴드에서 뛰어난 성능을 기록하였다.
• 제거 실험을 통해 자기주의 메커니즘과 균형 잠재 손실 함수가 AU 특징 학습 및 전체 성능 향상에 기여하는 것으로 확인되었다.