[논문 리뷰] MFEViT: A Robust Lightweight Transformer-based Network for Multimodal 2D+3D Facial Expression Recognition

Hanting Li, Mingzhe Sui외 2명|arXiv (Cornell University)|2021. 09. 20.

Face and Expression Recognition참고 문헌 31인용 수 4

한 줄 요약

이 논문은 RGB와 깊이 특징을 트랜스포머 인코더 이전에 병합하는 대체 융합 전략을 사용하고, 노이즈가 있는 샘플을 하위 클래스로 재할당하는 샘플 필터링 모듈을 갖춘 경량 순수 트랜스포머 기반 모델인 MFEViT을 제안한다. 이 모델은 단지 약 2300만 파라미터로 BU-3DFE에서 90.83%, Bosphorus에서 90.28%의 최고 성능을 기록하며, 다중 브랜치 CNN보다 뛰어난 성능을 내고 있다.

ABSTRACT

Vision transformer (ViT) has been widely applied in many areas due to its self-attention mechanism that help obtain the global receptive field since the first layer. It even achieves surprising performance exceeding CNN in some vision tasks. However, there exists an issue when leveraging vision transformer into 2D+3D facial expression recognition (FER), i.e., ViT training needs mass data. Nonetheless, the number of samples in public 2D+3D FER datasets is far from sufficient for evaluation. How to utilize the ViT pre-trained on RGB images to handle 2D+3D data becomes a challenge. To solve this problem, we propose a robust lightweight pure transformer-based network for multimodal 2D+3D FER, namely MFEViT. For narrowing the gap between RGB and multimodal data, we devise an alternative fusion strategy, which replaces each of the three channels of an RGB image with the depth-map channel and fuses them before feeding them into the transformer encoder. Moreover, the designed sample filtering module adds several subclasses for each expression and move the noisy samples to their corresponding subclasses, thus eliminating their disturbance on the network during the training stage. Extensive experiments demonstrate that our MFEViT outperforms state-of-the-art approaches with an accuracy of 90.83% on BU-3DFE and 90.28% on Bosphorus. Specifically, the proposed MFEViT is a lightweight model, requiring much fewer parameters than multi-branch CNNs. To the best of our knowledge, this is the first work to introduce vision transformer into multimodal 2D+3D FER. The source code of our MFEViT will be publicly available online.

연구 동기 및 목표

• 대규모 RGB 데이터로 사전 훈련된 비전 트랜스포머를 활용하여 저자원 2D+3D 얼굴 표정 인식(FER) 데이터셋에 효과적으로 적응시킬 수 있도록 하는 것.
• 기존의 다중 브랜치 CNN에 비해 모델 복잡도와 파라미터 수를 줄이는 것.
• 훈련 중 얼굴 표정 데이터의 노이즈 샘플과 큰 내부 클래스 변동성의 부정적 영향을 완화하는 것.
• 다중 모odal 2D+3D FER에 순수 트랜스포머 아키텍처를 처음으로 도입하여 자기주의 주목을 통해 전역적 특징 학습을 가능하게 하는 것.

제안 방법

• RGB의 세 채널 각각을 깊이 맵 채널로 대체하고 이를 사전에 융합하는 대체 융합(Alternative Fusion, AF) 전략을 제안하여 RGB와 다중 모달 데이터 간의 도메인 갭을 좁힘.
• 각 표정에 대해 하위 클래스를 생성하고 훈련 중에 노이즈가 있는 샘플을 이러한 하위 클래스로 재할당하는 샘플 필터링(Sample Filtering, SF) 모듈을 설계하여 주 클래스에 대한 간섭을 줄임.
• 데이터 수준 융합 이후 융합된 다중 모달 특징에 대해 비전 트랜스포머(ViT) 인코더를 적용하여 첫 번째 레이어에서부터 전역 수용 영역 학습이 가능하도록 함.
• 3D 스캔을 정렬된 RGB 및 깊이 맵 쌍으로 투영한 후 표면 처리를 수행하여 데이터 품질을 향상시키는 방식으로 2D+3D 특징 추출을 수행함.
• 다중 브랜치 CNN이 필요 없도록 단일 브랜치 트랜스포머 아키텍처를 적용하여 모델 파라미터 수를 크게 감소시킴.
• 추론 시, 모든 하위 클래스를 원래의 주 클래스로 병합하여 최종 분류 및 정확도 평가를 수행함.

실험 결과

연구 질문

• RQ1 대규모 RGB 데이터로 사전 훈련된 비전 트랜스포머가 저자원 2D+3D 얼굴 표정 인식에 효과적으로 적응할 수 있는가?
• RQ2 RGB와 다중 모달(2D+3D) 데이터 간의 도메인 갭을 어떻게 최소화하여 효과적인 전이 학습을 가능하게 할 수 있는가?
• RQ3 단일 브랜치 트랜스포머 기반 모델이 다중 브랜치 CNN보다 훨씬 적은 파라미터로 2D+3D FER에서 뛰어난 성능을 낼 수 있는가?
• RQ4 노이즈 샘플을 하위 클래스로 필터링하는 것이 얼굴 표정 인식에서 모델 일반화 능력과 정확도 향상에 어느 정도 기여하는가?

주요 결과

• MFEViT는 BU-3DFE 데이터셋에서 90.83%의 최고 성능을 기록했으며, Bosphorus 데이터셋에서는 90.28%의 최고 성능을 달성하여 기존 최고 성능 방법을 초월함.
• 모델 파라미터 수를 약 2300만으로 줄여, VGG-M-DF(32700만) 및 DA-CNN(46300만)와 같은 다중 브랜치 CNN보다 현저히 적은 수치를 기록함.
• 샘플 필터링 모듈을 적용함으로써 BU-3DFE에서 기준 모델 대비 정확도가 1.39% 향상되었고, Bosphorus에서는 1.11% 향상됨.
• 대체 융합 전략이 RGB와 다중 모달 데이터 간의 분포 갭을 효과적으로 좁혀, ImageNet 사전 훈련된 ViT에서의 전이 학습을 향상시킴.
• 시각화 결과, 하위 클래스 재할당 후 정상 샘플과 노이즈 샘플 간의 거리가 크게 감소한 것으로 확인되어 필터링 모듈의 효과를 검증함.
• 혼동 행렬 분석 결과, 기쁨과 놀람과 같은 표정은 높은 정확도를 보였지만, 두려움과 슬픔은 미세한 근육 운동으로 인해 여전히 더 어려운 과제로 남아 있음.