[논문 리뷰] Short and Long Range Relation Based Spatio-Temporal Transformer for Micro-Expression Recognition

Liangfei Zhang, Xiaopeng Hong외 2명|arXiv (Cornell University)|2021. 12. 10.

Emotion and Mood Recognition인용 수 11

한 줄 요약

이 논문은 광학 흐름 특징에서 짧은 범위와 긴 범위의 공간적·시간적 의존성을 동시에 모델링하기 위해 다중 헤드 자기주의를 활용하는, 마이크로표정 인식을 위한 첫 번째 순수 트랜스포머 기반 아키텍처를 제안한다. 이는 최신 기술 수준(SOTA)을 달성하며, SMIC-HS, CASME II, SAMM의 세 가지 주요 데이터셋에서 모두 0.9를 초과하는 무게화되지 않은 F1 스코어를 달성한 첫 번째 방법이 되었다.

ABSTRACT

Being spontaneous, micro-expressions are useful in the inference of a person's true emotions even if an attempt is made to conceal them. Due to their short duration and low intensity, the recognition of micro-expressions is a difficult task in affective computing. The early work based on handcrafted spatio-temporal features which showed some promise, has recently been superseded by different deep learning approaches which now compete for the state of the art performance. Nevertheless, the problem of capturing both local and global spatio-temporal patterns remains challenging. To this end, herein we propose a novel spatio-temporal transformer architecture -- to the best of our knowledge, the first purely transformer based approach (i.e. void of any convolutional network use) for micro-expression recognition. The architecture comprises a spatial encoder which learns spatial patterns, a temporal aggregator for temporal dimension analysis, and a classification head. A comprehensive evaluation on three widely used spontaneous micro-expression data sets, namely SMIC-HS, CASME II and SAMM, shows that the proposed approach consistently outperforms the state of the art, and is the first framework in the published literature on micro-expression recognition to achieve the unweighted F1-score greater than 0.9 on any of the aforementioned data sets.

연구 동기 및 목표

• 자신감 없이, 불안정하게, 자발적이고 불의도적인 성격으로 인해 짧고 강도가 낮아 탐지하기 어려운 마이크로표정을 인식하는 데 도전하는 것.
• 마이크로표정 영상에서 국소적이고 전반적인 공간적·시간적 관계를 동시에 포착하는 데에 한계가 있는 컨볼루션 신경망(CNN)의 한계를 극복하는 것.
• 컨볼루션 연산을 완전히 대체하는 순수 트랜스포머 기반 아키텍처를 개발하여 짧고 긴 범위의 공간적·시간적 의존성을 엔드 투 엔드로 학습하는 것.
• 특히 무게화되지 않은 F1 스코어가 분야에서 여전히 핵심 과제인 벤치마크 마이크로표정 데이터셋에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 모델은 장기 광학 흐름 프레임에서 공간적 관계를 학습하기 위해 다중 헤드 자기주의 기반 공간 인코더를 사용하며, 이는 컨볼루션 계층을 대체한다.
• 시간적 집계 블록은 순서 토큰에 대한 학습 가능한 주의 메커니즘을 사용하여 영상 프레임 간의 장기적 시간적 의존성을 모델링한다.
• 시각화된 장기 광학 흐름 표현을 처리하여 마이크로표정 탐지에 핵심적인 운동 역학을 유지한다.
• 엔드 투 엔드 학습 및 추론을 위해 트랜스포머 인코더의 [CLS] 토큰 출력에 분류 헤드를 적용한다.
• 표준 교차 엔트로피 손실과 조기 정지, Adam 최적화를 사용하여 프레임워크를 훈련시키며, 단일 데이터셋 및 복합 데이터셋 프로토콜 모두에서 평가한다.
• 모델은 주어진 주제를 하나씩 제외하는 이중 주제 교차 검증 프로토콜을 통해 주제 간의 강건성과 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 짧고 긴 범위의 공간적·시간적 의존성을 동시에 모델링함으로써 순수 트랜스포머 기반 아키텍처가 컨볼루션 네트워크를 능가할 수 있는가?
• RQ2 장기 광학 흐름 특징에 다중 헤드 자기주의를 적용하면 수작업 또는 CNN 기반 특징에 비해 인식 성능이 향상되는가?
• RQ3 제안된 방법이 표준 마이크로표정 데이터셋 중 하나에서 무게화되지 않은 F1 스코어를 0.9 초과로 달성하여 새로운 최신 기술 수준을 설정할 수 있는가?
• RQ4 클래스 분포가 불균형할 경우, 단일 데이터셋 및 복합 데이터셋 평가 설정 모두에서 모델의 성능은 어떠한가?

주요 결과

• 제안된 방법은 SMIC-HS, CASME II, SAMM의 세 가지 벤치마크 데이터셋에서 모두 처음으로 무게화되지 않은 F1 스코어가 0.9를 초과하는 성과를 달성했다.
• CASME II에서 모델은 가장 높은 무게화되지 않은 F1 스코어와 두 번째로 높은 무게화되지 않은 정확도를 기록했다.
• 복합 데이터베이스에서 모델은 무게화되지 않은 F1 스코어에서 1위, 무게화되지 않은 정확도에서 2위를 기록하여 다양한 데이터 소스 간의 강력한 일반화 능력을 입증했다.
• GCN 기반 및 하이브리드 CNN-트랜스포머 모델을 포함한 이전 최신 기술 수준의 방법들보다 뛰어난 성능을 보였으며, 특히 미세한 마이크로표정의 분류에서 뛰어난 성능을 보였다.
• 혼동 행렬 분석 결과, CASME II에서 혐오감과 다른 감정 간, SAMM에서 경멸과 기쁨 간의 구분이 어려운 문제가 지속적으로 나타났으며, 주로 데이터셋 내에서 AU 레이블링의 일관성 없음 또는 모호함 때문이었다.
• 제거 실험 결과, 다중 헤드 자기주의 메커니즘이 핵심임을 확인하였으며, 시간적 집계 블록을 단순 평균 연산자로 대체할 경우 성능 저하가 심각하게 발생했다.