[논문 리뷰] MER-GCN: Micro Expression Recognition Based on Relation Modeling with Graph Convolutional Network

Ling Lo, Hongxia Xie외 2명|arXiv (Cornell University)|2020. 04. 19.

Emotion and Mood Recognition참고 문헌 26인용 수 10

한 줄 요약

이 논문은 3D 컨볼루션 네트워크(3D ConvNets)를 활용해 시공간적 특징을 추출하고, 행동 단위(Action Units, AUs) 간의 관계를 모델링하기 위해 그래프 컨volution 네트워크(GCN)를 결합한 엔드 투 엔드 마이크로표정 인식 프레임워크인 MER-GCN을 제안한다. AU 수준의 관계를 활용함으로써, k-폴드 교차검증을 사용한 CASME II 데이터셋에서 최신 기술 수준(SOTA)의 정확도 58.82%를 달성하였으며, 기존의 CNN 기반 접근 방식을 능가한다.

ABSTRACT

Micro-Expression (ME) is the spontaneous, involuntary movement of a face that can reveal the true feeling. Recently, increasing researches have paid attention to this field combing deep learning techniques. Action units (AUs) are the fundamental actions reflecting the facial muscle movements and AU detection has been adopted by many researches to classify facial expressions. However, the time-consuming annotation process makes it difficult to correlate the combinations of AUs to specific emotion classes. Inspired by the nodes relationship building Graph Convolutional Networks (GCN), we propose an end-to-end AU-oriented graph classification network, namely MER-GCN, which uses 3D ConvNets to extract AU features and applies GCN layers to discover the dependency laying between AU nodes for ME categorization. To our best knowledge, this work is the first end-to-end architecture for Micro-Expression Recognition (MER) using AUs based GCN. The experimental results show that our approach outperforms CNN-based MER networks.

연구 동기 및 목표

• 제한적이고 편향된 마이크로표정 데이터셋과 정서 분류 시 발생하는 레이블링 편향 문제를 해결하기 위해.
• 직접적인 정서 카테고리 예측에 의존하는 것을 줄이기 위해 행동 단위(AUs)를 중간 표현으로 사용하기 위해.
• 얼굴 AUs 간의 복잡하고 은폐된 관계를 모델링하여 마이크로표정 인식 성능을 향상시키기 위해.
• 그래프 기반 관계 모델링을 활용한 엔드 투 엔드, AU 중심의 딥 러닝 아키텍처를 개발하기 위해.
• GCN가 미세한 얼굴 표정 분류를 위해 AUs 간의 의존성을 효과적으로 포착할 수 있는지 확인하기 위해.

제안 방법

• 비디오 클립에서 시공간적 특징을 추출하기 위해 3D 컨볼루션 네트워크(3D-CNN)를 사용하여 운동 및 외관 신호를 캡처한다.
• 행동 단위(AU) 영역을 식별하고, 해부학적 및 기능적 관계를 나타내는 간선을 갖는 그래프의 노드로 임베딩한다.
• AU 노드 간의 의존성을 모델링하기 위해 그래프 컨볼루션 네트워크(GCN)를 적용하여 고차원 관계를 학습한다.
• 3D-CNN과 GCN의 특징 표현을 도트 곱 연산을 통해 융합하여 분류 성능을 향상시킨다.
• 완전 연결 층을 통해 최종적으로 마이크로표정 카테고리로 분류한다.
• 정확도의 안정성과 개인별 편향을 줄이기 위해 k-폴드 및 라이브러리-원-사람-아웃(LOSO) 전략을 사용한 교차검증을 실시한다.

실험 결과

연구 질문

• RQ1 기존의 표준 CNN과 비교해, 행동 단위(AU) 관계를 기반으로 한 그래프 모델링이 마이크로표정 인식 정확도 향상에 기여하는가?
• RQ2 엔드 투 엔드 AU 중심 아키텍처는 직접적인 정서 분류에 비해 마이크로표정 인식(MER)에서 레이블링 편향을 줄이는가?
• RQ3 GCN 기반 AU 관계 모델링은 미세한 얼굴 표정을 위한 특징 표현을 어떻게 향상시키는가?
• RQ4 k-폴드와 LOSO 중 교차검증 전략의 선택이 불균형한 MER 데이터셋에서 성능에 어느 정도 영향을 미치는가?
• RQ5 GCN는 데이터에 명시적으로 레이블링되지 않은 AUs 간의 숨겨진 의존성을 효과적으로 포착할 수 있는가?

주요 결과

• k-폴드 교차검증을 사용한 MER-GCN의 테스트 정확도는 58.82%였으며, 최고의 베이스라인 3D-CNN 모델(54.05%)을 능가했다.
• 라이브러리-원-사람-아웃(LOSO) 검증에서 MER-GCN은 42.71%의 정확도를 기록했으며, 3D-CNN 베이스라인(42.03%)을 초월했다.
• 미리 훈련된 3D-CNN 모델은 성능이 열악했으며(k-폴드에서 52.37%, LOSO에서 39.64%), 이는 Kinetics에서의 훈련된 모델이 CASME II로의 도메인 이동(domain shift)을 겪었음을 시사한다.
• GCN의 성능 향상은 공간-시간적 특징 학습 외에 AU 간 의존성 모델링이 마이크로표정 인식에 크게 기여한다는 것을 입증한다.
• 결과는 CASME II 데이터셋의 클래스 불균형이 LOSO 검증에서 더 높은 편향을 초래하고 일반화 성능에 악영향을 미칠 수 있음을 시사한다.
• 이 연구는 GCN를 통한 AU 수준의 관계 모델링이 현재의 MER 시스템 한계를 극복하는 데 있어 유망한 방향이라는 것을 확인한다.