[논문 리뷰] Transferring Dual Stochastic Graph Convolutional Network for Facial Micro-expression Recognition

Hui Tang, Li Chai외 1명|arXiv (Cornell University)|2022. 03. 10.

Advanced Computing and Algorithms인용 수 6

한 줄 요약

이 논문은 제한된 데이터에서 강건한 공간적 및 시간적 특징을 추출하기 위해 확률적 그래프 구축과 이중 GCN 아키텍처를 활용하는 전이 이중 확률적 그래프 컨볼루션 네트워크(TDSGCN)를 제안한다. 매크로표정 데이터에서의 전이 학습과 클래스 불균형을 해결하기 위한 포칼 손실을 통합함으로써, SAMM(75.0% 정확도)과 MMEW(72.7% 정확도)에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Micro-expression recognition has drawn increasing attention due to its wide application in lie detection, criminal detection and psychological consultation. To improve the recognition performance of the small micro-expression data, this paper presents a transferring dual stochastic Graph Convolutional Network (TDSGCN) model. We propose a stochastic graph construction method and dual graph convolutional network to extract more discriminative features from the micro-expression images. We use transfer learning to pre-train SGCNs from macro expression data. Optical flow algorithm is also integrated to extract their temporal features. We fuse both spatial and temporal features to improve the recognition performance. To the best of our knowledge, this is the first attempt to utilize the transferring learning and graph convolutional network in micro-expression recognition task. In addition, to handle the class imbalance problem of dataset, we focus on the design of focal loss function. Through extensive evaluation, our proposed method achieves state-of-the-art performance on SAMM and recently released MMEW benchmarks. Our code will be publicly available accompanying this paper.

연구 동기 및 목표

• 저품질이면서 짧은 지속시간을 가진 샘플로 구성된 제한된 마이크로표정 데이터셋 문제를 해결한다.
• 픽셀 기반 특징 추출의 한계를 극복하기 위해 그래프 구조를 통해 얼굴 기하학을 모델링한다.
• 가장 가까운 이웃과 무작위 샘플링을 조합한 새로운 확률적 그래프 구축 방법을 통해 특징의 구별 능력을 향상시킨다.
• 마이크로표정 데이터셋의 성능 향상을 위해 매크로표정 데이터에서의 전이 학습을 활용하여 GCN를 사전학습한다.
• 사용자 정의 포칼 손실 함수를 통해 마이크로표정 데이터셋의 클래스 불균형 문제를 완화한다.

제안 방법

• 각 노드가 $p$개의 가장 가까운 이웃과 $q$개의 무작위 선택된 이웃에 연결되는 확률적 $p+q$ 그래프 구축 방법을 제안하여 부정확성과 계산 비용을 감소시킨다.
• 얼굴 이미지와 옵티컬 플로우 시퀀스에서 상보적인 특징을 추출하기 위해 별도의 공간 및 시간 브랜치를 가진 이중 그래프 컨볼루션 네트워크(DGCN)를 설계한다.
• 마이크로표정 데이터에서의 파인튜닝 이전에 대규모 매크로표정 데이터셋에서 SGCN를 사전학습함으로써 전이 학습을 적용한다.
• 마이크로표정 시퀀스의 시간적 동역학을 캡처하기 위해 옵티컬 플로우 특징을 통합한다.
• 쉬운 잘못 분류된 샘플을 가중치를 낮추고 드문 클래스에서의 학습을 향상시키기 위해 포칼 손실 함수를 활용한다.
• 이중 GCN 브랜치에서 추출한 공간적 및 시간적 특징을 융합하여 최종 분류를 수행한다.

실험 결과

연구 질문

• RQ1 확률적 그래프 구축 방법은 계산 비용을 줄이며 마이크로표정 인식에서 특징 표현을 향상시킬 수 있는가?
• RQ2 이중 GCN 아키텍처는 단일 GCN보다 마이크로표정의 구별 가능한 공간적 및 시간적 특징을 더 잘 포착하는가?
• RQ3 매크로표정 데이터에서의 전이 학습은 작은 마이크로표정 데이터셋에서의 인식 정확도를 크게 향상시킬 수 있는가?
• RQ4 포칼 손실은 마이크로표정 벤치마크에서 클래스 불균형으로 인한 성능 저하를 어느 정도 완화하는가?
• RQ5 공간적 및 시간적 브랜치는 시간적 내용이 다양한 데이터셋에서 인식 성능에 어떻게 다른 기여를 하는가?

주요 결과

• 제안된 TDSGCN 모델은 SAMM 벤치마크에서 75.0%의 인식 정확도를 달성하여 이전 최신 기술 수준 방법을 능가한다.
• MMEW 벤치마크에서는 8+2 및 4+0 그래프 아키텍처와 포칼 손실을 사용하여 72.7%의 정확도를 기록하며 기존 접근 방식을 초월한다.
• 이중 GCN 아키텍처는 단일 GCN 변종보다 일관되게 뛰어난 성능을 보이며, 8+2 및 4+0 구성에서 양 데이터셋에서 최고의 정확도를 기록한다.
• 옵티컬 플로우 기반 시간적 특징은 MMEW에서 성능 향상을 이끌었지만, 운동 변화가 미미한 SAMM에서는 영향을 주지 않았다.
• 포칼 손실은 교차 엔트로피 손실 대비 인식 성능 향상에 크게 기여했으며, 특히 클래스 분포가 불균형한 경우에 유의미한 개선을 보였다.
• 아블레이션 연구를 통해 공간 브랜치가 시간 브랜치보다 더 큰 기여를 하며, 특히 시간적 동역학이 덜 정보적인 SAMM에서 더욱 두드러졌다.