[논문 리뷰] Video-based Facial Expression Recognition using Graph Convolutional Networks

Daizong Liu, Hongting Zhang외 1명|arXiv (Cornell University)|2020. 10. 26.

Emotion and Mood Recognition참고 문헌 40인용 수 5

한 줄 요약

이 논문은 영상 기반 얼굴 표정 인식을 위한 새로운 그래프 컬러션 네트워크(GCN)-강화 CNN-RNN 프레임워크인 FER-GCN을 제안한다. GCN를 활용해 피크 표정 프레임에서의 특징을 영상 프레임 전반에 걸쳐 전파하고, 학습된 인접 행렬을 통해 특징을 가중치 적용함으로써 동적인 고강도 표정 영역에 집중함으로써 CK+, Oulu-CASIA, MMI 및 도전적인 AFEW8.0 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Facial expression recognition (FER), aiming to classify the expression present in the facial image or video, has attracted a lot of research interests in the field of artificial intelligence and multimedia. In terms of video based FER task, it is sensible to capture the dynamic expression variation among the frames to recognize facial expression. However, existing methods directly utilize CNN-RNN or 3D CNN to extract the spatial-temporal features from different facial units, instead of concentrating on a certain region during expression variation capturing, which leads to limited performance in FER. In our paper, we introduce a Graph Convolutional Network (GCN) layer into a common CNN-RNN based model for video-based FER. First, the GCN layer is utilized to learn more significant facial expression features which concentrate on certain regions after sharing information between extracted CNN features of nodes. Then, a LSTM layer is applied to learn long-term dependencies among the GCN learned features to model the variation. In addition, a weight assignment mechanism is also designed to weight the output of different nodes for final classification by characterizing the expression intensities in each frame. To the best of our knowledge, it is the first time to use GCN in FER task. We evaluate our method on three widely-used datasets, CK+, Oulu-CASIA and MMI, and also one challenging wild dataset AFEW8.0, and the experimental results demonstrate that our method has superior performance to existing methods.

연구 동기 및 목표

• 동적인 표정 변화 과정에서 기존 영상 기반 FER 방법들이 핵심 얼굴 영역을 일관되게 집중하지 못하는 한계를 해결하기 위해.
• 프레임 간 GCN 기반 특징 전파를 통합하여 얼굴 표정의 장기적 시간적 의존성을 향상시키기 위해.
• GCN에서 유도된 인접 행렬을 사용해 피크 표정 프레임을 자동으로 식별하고 강조함으로써 분류 성능을 향상시키기 위해.
• 영상 시퀀스 전반에서 가장 표현력 있는 얼굴 영역에 집중함으로써 특징 표현을 향상시키는 강력한 종단 간 프레임워크를 개발하기 위해.

제안 방법

• 메시지 전달을 통해 동적인 표정 영역에 강화된 집중을 가지는 특징을 학습하기 위해 CNN과 LSTM 사이에 GCN 레이어를 통합한다.
• 프레임 간 의존성을 모델링하기 위해 GCN에서 가중치를 학습할 수 있는 인접 행렬을 사용하며, 피크 표정 프레임의 특징을 강조한다.
• 학습된 인접 행렬을 기반으로 가중치가 부여된 특징 융합 함수를 적용하여 고강도 프레임에서 정보성 특징을 우선순위에 두도록 한다.
• 공간적 특징 추출을 위해 VGG16을 백본으로 사용하고, 이후 GCN 기반의 공간-시간적 특징 정제를 수행한다.
• 정제된 영역 중심 특징에서 장기적 시간적 동역학을 모델링하기 위해 GCN 이후에 LSTM을 활용한다.
• 표현 강도를 나타내고 피크 프레임 쪽으로 주의를 이끌기 위해 시그모이드를 통해 인접 행렬 가중치를 정규화한다.

실험 결과

연구 질문

• RQ1 GCN 기반 특징 전파가 영상 시퀀스에서 동적인 얼굴 표정 변화의 모델링을 향상시킬 수 있는가?
• RQ2 GCN에서 유도된 데이터 기반 인접 행렬이 피크 표정 프레임을 식별하고 강조함으로써 인식 성능 향상에 기여하는가?
• RQ3 표현 강도 기반으로 GCN가 학습한 특징을 가중 융합하면 표준 특징 평균화 방식보다 분류 정확도가 향상되는가?
• RQ4 제안된 FER-GCN 프레임워크는 제어된 환경과 실외 환경의 얼굴 표정 데이터셋에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• CK+에서 FER-GCN은 99.54%의 정확도를 달성하여 VGG16 기준선(97.78%)을 크게 능가한다.
• Oulu-CASIA에서 모델은 91.04%의 정확도를 기록했으며, 기준선 대비 5.21% 향상되었고, VGG-Face-LSTM 대비 2.71% 향상되었다.
• 도전적인 AFEW8.0 실외 데이터셋에서 FER-GCN은 55.67%의 정확도를 기록했으며, Emotiw2018에서 최고의 단일 모델(53.91%)을 1.76% 초월했다.
• 제거 실험 결과 두 개의 GCN 레이어가 최적의 성능을 내며, 더 깊은 스택은 과도한 스무딩을 유도하고 성능 저하를 초래함을 확인했다.
• 가중치 기반 특징 융합 메커니즘은 각각 CK+에서 0.45%, Oulu-CASIA에서 1.25%, MMI에서 1.25%의 정확도 향상을 기여했다.
• 인접 행렬의 시각화 결과는 모든 데이터셋에서 표현 강도와 일관되게 일치하며, 가장 표현력 있는 프레임에서 가중치가 최고조에 도달하는 경향을 보였다.