[논문 리뷰] Multi-label Relation Modeling in Facial Action Units Detection

Xianpeng Ji, Yu Ding외 3명|arXiv (Cornell University)|2020. 02. 04.

Emotion and Mood Recognition참고 문헌 7인용 수 4

한 줄 요약

이 논문은 융합된 정적 텍스처 및 동적 랜드마크 특징을 사용하여 얼굴 동작 단위(AU) 검출을 위한 다중 레이블 관계 모델링 방법을 제안한다. 반복 분류 프레임워크 내에서 GRU 기반 특징 추출 네트워크와 쿼리 학습된 AU 임베딩 테이블을 결합함으로써, 이 방법은 Aff-Wild2 데이터셋에서 검증 F1-가중 정확도 0.56을 달성하여 공존하는 AUs를 순차적 패턴으로 효과적으로 모델링한다.

ABSTRACT

This paper describes an approach to the facial action units detections. The involved action units (AU) include AU1 (Inner Brow Raiser), AU2 (Outer Brow Raiser), AU4 (Brow Lowerer), AU6 (Cheek Raise), AU12 (Lip Corner Puller), AU15 (Lip Corner Depressor), AU20 (Lip Stretcher), and AU25 (Lip Part). Our work relies on the dataset released by the FG-2020 Competition: Affective Behavior Analysis In-the-Wild (ABAW). The proposed method consists of the data preprocessing, the feature extraction and the AU classification. The data preprocessing includes the detection of face texture and landmarks. The texture static and landmark dynamic features are extracted through neural networks and then fused as the feature latent representation. Finally, the fused feature is taken as the initial hidden state of a recurrent neural network with a trainable lookup AU table. The output of the RNN is the results of AU classification. The detected accuracy is evaluated with 0.5$ imes$accuracy + 0.5$ imes$F1. Our method achieve 0.56 with the validation data that is specified by the organization committee.

연구 동기 및 목표

• 공존하는 AUs를 순차적 패턴으로 모델링하여 얼굴 동작 단위 검출 성능을 향상시키기.
• 정적 텍스처 및 동적 랜드마크 기반 운동 특징을 융합하여 특징 표현을 향상시키기.
• 다중 레이블 간 AU 존재 여부를 공동 학습할 수 있는 학습 가능한 AU 임베딩 룩업 메커니즘 개발하기.
• 실제 비디오 데이터에서 다중 레이블, 다중 클래스 AU 검출 과제에 도전하기.
• 후처리 스무딩을 통한 엔드 투 엔드 학습을 통해 AffectNet 및 Aff-Wild2 데이터셋에서 견고한 성능 달성하기.

제안 방법

• 사전 훈련된 얼굴 세그멘테이션 모델이 얼굴 영역을 추출하고 배경을 마스킹한 후, 회색조 및 에지 이미지로 변환하여 텍스처 특징 추출을 수행한다.
• 그레이스케일 및 에지 이미지를 처리하기 위한 이중 입력 CNN이 국소적인 AU 영역 상관관계를 캡처하며, 최종 특징 맵은 전역적인 텍스처 컨텍스트를 모델링하기 위해 GRU에 전달된다.
• 이웃하는 시간 프레임 간의 얼굴 랜드마크 차이를 사용하여 동적 특징을 추출하며, 스케일을 정규화하기 위해 탄젠트 활성화 함수를 사용한 완전 연결 네트워크를 적용한다.
• 정적 및 동적 특징을 연결을 통해 융합하여 AU 분류를 위한 통합된 잠재 표현을 형성한다.
• 쿼리 기반 GRU 네트워크는 학습 가능한 AU 임베딩(8×64 행렬)을 쿼리로 사용하여 각 AU를 반복적으로 분류하며, 각 AU 쿼리에 따라 GRU 상태를 갱신한다.
• 최종 이진 분류기(소프트맥스)는 각 AU에 대해 GRU 출력 기반으로 AU 활성화를 예측하며, 공동 최적화를 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 정적 및 동적 얼굴 특징을 어떻게 효과적으로 융합하여 다중 레이블 AU 검출 성능을 향상시킬 수 있는가?
• RQ2 AU 공존을 순차적 프로세스로 모델링하면 얼굴 표정 분석에서 분류 성능 향상에 기여하는가?
• RQ3 학습 가능한 AU 임베딩 테이블이 약한 감독 설정에서 다중 레이블 분류 성능에 얼마나 기여하는가?
• RQ4 랜드마크 운동 및 텍스처 특징의 통합이 비제약적 비디오 데이터에서의 강건성에 어떤 영향을 미치는가?
• RQ5 기본적인 다중 레이블 분류 헤드에 비해 순환 쿼리 메커니즘을 사용할 경우 성능 향상은 어느 정도인가?

주요 결과

• 제안된 방법은 0.5×정확도 + 0.5×F1의 복합 지표를 사용하여 Aff-Wild2 데이터셋에서 검증 점수 0.56을 달성한다.
• 그레이스케일 및 에지 이미지에서 유도된 정적 텍스처 특징와 랜드마크 차이에서 유도된 동적 운동 특징의 융합이 AU 검출의 강건성을 향상시킨다.
• 쿼리 기반 GRU와 함께 사용된 학습 가능한 AU 임베딩 테이블은 다중 레이블 AU 공존 패턴을 효과적으로 모델링할 수 있도록 한다.
• 하이퍼파rameter 튜닝과 후처리 스무딩을 통한 엔드 투 엔드 훈련 프레임워크는 일관된 성능 향상을 이끈다.
• 특히 AU1, AU2, AU4와 같은 공존하는 AUs에 대해 실생활 비디오 데이터에서 강력한 일반화 성능을 보여준다.
• AU 임베딩의 순환 처리를 통해 예측의 반복적 개선이 가능해져 미세하고 겹치는 얼굴 동작의 검출 성능이 향상된다.