[논문 리뷰] Micron-BERT: BERT-based Facial Micro-Expression Recognition

Xuan-Bac Nguyen, Chi Nhan Duong외 4명|arXiv (Cornell University)|2023. 04. 06.

Emotion and Mood Recognition인용 수 6

한 줄 요약

이 논문은 얼굴의 미세표정을 인식하기 위한 자기학습 기반 BERT 기반 프레임워크인 Micron-BERT ($\mu$-BERT)를 제안한다. 이 모델은 프레임 간 미세한 차이를 탐지하기 위해 대각선 미세주의(Diagonal Micro-Attention, DMA)를 사용하고, 배경 노이즈를 억제하면서도 미세표정 영역을 국소화하기 위해 관심 영역의 패치(Patch of Interest, POI) 모듈을 활용한다. 이 모델은 CASME II에서 89.03%의 정확도와 CASME3에서 32.64%의 UF1을 기록하며, 이는 이전 방법들보다 유의미한 성능 향상을 보였다.

ABSTRACT

Micro-expression recognition is one of the most challenging topics in affective computing. It aims to recognize tiny facial movements difficult for humans to perceive in a brief period, i.e., 0.25 to 0.5 seconds. Recent advances in pre-training deep Bidirectional Transformers (BERT) have significantly improved self-supervised learning tasks in computer vision. However, the standard BERT in vision problems is designed to learn only from full images or videos, and the architecture cannot accurately detect details of facial micro-expressions. This paper presents Micron-BERT ($μ$-BERT), a novel approach to facial micro-expression recognition. The proposed method can automatically capture these movements in an unsupervised manner based on two key ideas. First, we employ Diagonal Micro-Attention (DMA) to detect tiny differences between two frames. Second, we introduce a new Patch of Interest (PoI) module to localize and highlight micro-expression interest regions and simultaneously reduce noisy backgrounds and distractions. By incorporating these components into an end-to-end deep network, the proposed $μ$-BERT significantly outperforms all previous work in various micro-expression tasks. $μ$-BERT can be trained on a large-scale unlabeled dataset, i.e., up to 8 million images, and achieves high accuracy on new unseen facial micro-expression datasets. Empirical experiments show $μ$-BERT consistently outperforms state-of-the-art performance on four micro-expression benchmarks, including SAMM, CASME II, SMIC, and CASME3, by significant margins. Code will be available at \url{https://github.com/uark-cviu/Micron-BERT}

연구 동기 및 목표

• 0.25~0.5초 동안 지속되는 미세하고 불의식적인 얼굴 표정을 인식하는 데 도전하는 것.
• 얼굴 랜드마크나 경계 상자에 의존하지 않고도 대규모의 레이블이 없는 영상 데이터를 활용해 자기학습 기반 학습 프레임워크를 개발하는 것.
• 배경 노이즈와 산만함을 제거하면서도 국소적인 고사용도 얼굴 영역에 집중하여 미세한 운동을 향상시키는 것.
• 다양한 민족, 성별, 연령대를 포함한 새로운 피험자들에 대해 일반화 가능한 성능을 달성하는 것.

제안 방법

• 연속된 두 프레임의 대응 패치 간에 주의를 계산하는 새로운 주의 메커니즘인 대각선 미세주의(Diagonal Micro-Attention, DMA)를 도입하여, 미세한 운동 차이를 탐지한다.
• 자기학습 방식으로 얼굴에서 미세표정을 포함하는 영역을 학습하고 강조하는 관심 영역의 패치(Patch of Interest, POI) 모듈을 제안하여 배경 노이즈에 대한 민감도를 낮춘다.
• 블록 단위 스위핑을 사용한 두 프레임 간의 대비 학습 전처리 전략을 적용하여, 영상 간 국소적인 미세 변화 특징을 학습하도록 유도한다.
• DMA와 POI를 비전 트랜스포머 기반 아키텍처에 통합하여 종단 간 딥 네트워크를 설계함으로써 특징 학습과 국소화를 동시에 수행한다.
• 자기학습 대비 학습을 통해 CASME3 데이터셋에서 최대 800만 장의 레이블이 없는 이미지를 사용하여 모델을 사전 훈련한다.
• CASME II, SAMM, SMIC, CASME3와 같은 표준 벤치마크를 사용하여 최종 모델을 미세조정하여 마이크로표정 인식 작업을 수행한다.

실험 결과

연구 질문

• RQ1 자기학습 기반 BERT 아키텍처가 얼굴 랜드마크나 경계 상자 없이도 대규모의 레이블이 없는 영상 데이터에서 미세표정 패턴을 효과적으로 학습할 수 있는가?
• RQ2 기본 주의 메커니즘과 비교했을 때, 대각선 미세주의(DMA)는 어떻게 미세한 프레임 간 얼굴 운동 차이를 향상시키는가?
• RQ3 관심 영역의 패치(POI) 모듈은 배경 노이즈를 걸러내고 고사용도 얼굴 영역에 집중함으로써 모델의 강인성을 얼마나 향상시키는가?
• RQ4 제안된 $\mu$-BERT 프레임워크는 다양한 민족, 성별, 연령대를 포함한 새로운 피험자들에 대해 잘 일반화되는가?
• RQ5 DMA와 POI 모듈의 조합은 표준 미세표정 벤치마크에서 최고 성능을 달성하는 데 어떻게 기여하는가?

주요 결과

• CASME II 벤치마크에서 Micron-BERT는 89.03%의 인식 정확도를 기록하여 이전 최고 성능 방법들보다 뚜렷한 성능 향상을 보였다.
• CASME3 데이터셋에서 $\mu$-BERT는 32.64%의 UF1과 32.54%의 UAR를 기록하여 대규모이고 다양한 데이터셋에서 강력한 성능을 보였다.
• 제거 실험 결과, POI 모듈은 기준 모델 대비 UAR에서 최대 6% 향상시켜, 노이즈 억제에서 핵심적인 역할을 한다는 점을 입증했다.
• DMA 모듈만으로도 기준 모델 대비 UAR가 4% 향상되어, 두 프레임 간의 미세운동을 포착하는 데 효과적이라는 점을 입증했다.
• CASME3에서 사전 훈련한 모델은 새로운 데이터셋으로도 잘 일반화되며, 다양한 피험자와 민족적 배경에서 강인함을 보였다.
• CASME3에서 자기학습 기반 사전 훈련은 최종 성능을 크게 향상시켰으며, ImageNet 사전 훈련된 ViT-S 대비 MAE와 MoCo V3가 각각 UF1과 UAR에서 3.5%, 2% 향상되었다.