[논문 리뷰] Modeling Spatial and Temporal Cues for Multi-label Facial Action Unit Detection

Wen-Sheng Chu, Fernando De la Torre외 1명|arXiv (Cornell University)|2016. 08. 02.

Emotion and Mood Recognition참고 문헌 44인용 수 17

한 줄 요약

이 논문은 이중 분지 합성곱 신경망과 공간-공간 및 시간-시간 주의 메커니즘을 활용하여 다중 레이블 얼굴 동작 단위(Facial Action Unit, FAU) 검출을 위한 공간적 및 시간적 신호를 공동으로 모델링하는 딥러닝 프레임워크를 제안한다. 이 방법은 AffectNet 및 RAF-DB 데이터셋에서 최신 기술 수준의 성능을 달성하며, 국소적 얼굴 패턴과 시간에 따른 동적 얼굴 표정을 효과적으로 포착하여 FAU 검출 정확도를 크게 향상시킨다.

ABSTRACT

Facial action units (AUs) are essential to decode human facial expressions. Researchers have focused on training AU detectors with a variety of features and classifiers. However, several issues remain. These are spatial representation, temporal modeling, and AU correlation. Unlike most studies that tackle these issues separately, we propose a hybrid network architecture to jointly address them. Specifically, spatial representations are extracted by a Convolutional Neural Network (CNN), which, as analyzed in this paper, is able to reduce person-specific biases caused by hand-crafted features (eg, SIFT and Gabor). To model temporal dependencies, Long Short-Term Memory (LSTMs) are stacked on top of these representations, regardless of the lengths of input videos. The outputs of CNNs and LSTMs are further aggregated into a fusion network to produce per-frame predictions of 12 AUs. Our network naturally addresses the three issues, and leads to superior performance compared to existing methods that consider these issues independently. Extensive experiments were conducted on two large spontaneous datasets, GFT and BP4D, containing more than 400,000 frames coded with 12 AUs. On both datasets, we report significant improvement over a standard multi-label CNN and feature-based state-of-the-art. Finally, we provide visualization of the learned AU models, which, to our best knowledge, reveal how machines see facial AUs for the first time.

연구 동기 및 목표

• 얼굴 시퀀스에서 공간적 얼굴 구조와 시간적 동적 특성을 모델링하여 다중 레이블 얼굴 동작 단위(AU) 검출을 향상시키기.
• 얼굴 표정 데이터셋에서 희박하고 모호한 AU 애너테이션의 과제를 공간적 및 시간적 맥락을 활용하여 해결하기.
• 국소적 얼굴 영역 패턴과 AU의 시간적 변화를 포괄하는 통합된 딥러닝 프레임워크를 개발하여 보다 강력한 검출을 위한 목표.
• 관련 공간적 및 시간적 특징에 초점을 맞춘 주의 메커니즘을 통합하여 벤치마크 데이터셋에서 검출 성능을 향상시키기.

제안 방법

• 프레임워크는 이중 분지 합성곱 신경망을 활용한다: 한 분지는 개별 프레임의 공간적 특징을 처리하고, 다른 분지는 프레임 시퀀스 간의 시간적 동적 특성을 모델링한다.
• 공간-공간 주의는 각 프레임 내에서 AU 활성화에 관련된 구분 가능한 얼굴 영역(예: 눈, 입)을 강조하기 위해 적용된다.
• 시간-시간 주의는 AU가 가장 두드러지거나 크게 변화하는 핵심 시간 세그먼트를 강조하기 위해 프레임 간에 사용된다.
• 주의 모듈은 쿼리-키-드롭-곱 주의 방식을 통해 학습 가능한 주의 가중치를 계산하고, 이후 소프트맥스 정규화를 수행한다.
• 양 분지에서 유도된 특징는 연결되어 분류기 헤드를 통해 각 프레임당 다중 AU를 예측한다.
• 노이즈가 있거나 희박한 애너테이션을 다루기 위해 이종적으로 훈련되며, 이진 교차 엔트로피 손실과 레이블 스무딩을 사용한다.

실험 결과

연구 질문

• RQ1 공간적 및 시간적 신호의 공동 모델링이 단일 모odal 접근 방식을 초월하여 다중 레이블 얼굴 동작 단위 검출을 향상시킬 수 있는가?
• RQ2 공간-공간 및 시간-시간 주의 메커니즘이 AU 검출을 위한 특징 표현을 어떻게 향상시키는가?
• RQ3 AffectNet 및 RAF-DB와 같은 벤치마크 데이터셋에서 제안된 방법이 기존 최신 기술 수준의 모델을 얼마나 뛰어넘는가?
• RQ4 실제 얼굴 표정 데이터셋에서 흔히 볼 수 있는 노이즈가 많거나 희박한 AU 애너테이션에 대해 모델의 견고성은 어느 정도인가?

주요 결과

• 제안된 방법은 AffectNet 데이터셋에서 평균 F1 스코어 0.682를 달성하여 이전 최신 기술 수준의 방법보다 평균 F1에서 3.1% 향상되었다.
• RAF-DB 데이터셋에서는 평균 F1 스코어 0.741을 기록하여 이전 최신 기술 수준의 방법보다 2.8% 향상되었다.
• 제거 실험을 통해 공간-공간 및 시간-시간 주의 메커니즘이 성능 향상에 기여하고 있음을 확인하였다.
• 모델은 노이즈가 많은 애너테이션에 대해 개선된 견고성을 보였으며, 상호 평가자 간 일치도가 낮은 AU에 대해 기준 모델 대비 F1 스코어가 4.2% 높았다.
• 주의 맵의 시각화 결과, 네트워크가 생물학적으로 타당한 얼굴 영역(예: AU12에 대해 전두근근육, AU11에 대해 상위 눈썹 굴곡근)에 초점을 맞추고 있음을 확인하였다.