[논문 리뷰] Facial Action Unit Detection and Intensity Estimation from Self-supervised Representation

Bowen Ma, An RuDong외 7명|arXiv (Cornell University)|2022. 10. 28.

Emotion and Mood Recognition인용 수 6

한 줄 요약

이 논문은 애너테이션 없이 대규모 얼굴 이미지에서 마스킹된 자동에코딩을 통해 사전 훈련된 자기지도 학습 기반의 얼굴 표현 모델인 MAE-Face를 제안한다. AU 데이터셋에서 MAE-Face를 미세조정하면, 훈련 데이터의 1퍼센트만으로도 얼굴 동작 단위 검출 및 강도 추정에서 최신 기술 수준의 성능을 달성하여 데이터 부족 상황에서도 뛰어난 일반화 능력과 강건성을 입증한다.

ABSTRACT

As a fine-grained and local expression behavior measurement, facial action unit (FAU) analysis (e.g., detection and intensity estimation) has been documented for its time-consuming, labor-intensive, and error-prone annotation. Thus a long-standing challenge of FAU analysis arises from the data scarcity of manual annotations, limiting the generalization ability of trained models to a large extent. Amounts of previous works have made efforts to alleviate this issue via semi/weakly supervised methods and extra auxiliary information. However, these methods still require domain knowledge and have not yet avoided the high dependency on data annotation. This paper introduces a robust facial representation model MAE-Face for AU analysis. Using masked autoencoding as the self-supervised pre-training approach, MAE-Face first learns a high-capacity model from a feasible collection of face images without additional data annotations. Then after being fine-tuned on AU datasets, MAE-Face exhibits convincing performance for both AU detection and AU intensity estimation, achieving a new state-of-the-art on nearly all the evaluation results. Further investigation shows that MAE-Face achieves decent performance even when fine-tuned on only 1\% of the AU training set, strongly proving its robustness and generalization performance.

연구 동기 및 목표

• 얼굴 동작 단위(AU) 분석에서 시간이 오래 걸리고 전문 지식이 필요한 애너테이션 부담과 데이터 부족 문제를 해결하기 위해.
• 비용이 많이 들고 전문가가 애너테이션을 제공하는 AU 데이터셋에 대한 의존도를 줄이기 위해 자기지도 학습 기반 표현 학습을 활용하기 위해.
• AU 관련 작업에 특화된 강력하고 일반화 능력이 뛰어난 얼굴 표현 모델을 개발하기 위해.
• 다양한 벤치마크 데이터셋에서 자기지도 사전 훈련이 AU 검출 및 강도 추정에 얼마나 효과적인지 평가하기 위해.
• 극도의 데이터 부족 상황, 예를 들어 훈련 세트의 1퍼센트만으로 미세조정했을 때 모델의 성능을 조사하기 위해.

제안 방법

• 애너테이션 없이 대규모 얼굴 이미지 컬렉션에서 마스킹된 자동에코딩(MAE)을 사용해 비전 트랜스포머 기반 모델을 사전 훈련한다.
• 이미지 패치에 고비율 마스킹을 적용하고, 트랜스포머 기반 자동에코더를 사용해 원본 픽셀을 재구성한다.
• 사전 훈련 중 픽셀 재구성에 L1 손실를 사용하며, L2 손실보다 더 나은 얼굴 표정 세부 정보 복원 성능을 보임을 입증한다.
• 사전 훈련 중 패치 기반 정규화를 적용해 훈련 안정성과 표현 품질을 향상시킨다.
• 표준 지도 학습을 사용해 AU 검출 및 강도 추정 작업에서 사전 훈련된 MAE-Face 모델을 미세조정한다.
• 최적의 성능을 위해 학습률 스케줄링을 신중히 적용해 미세조정 과정을 최적화한다.

Figure 1: Reconstructed samples of our pre-trained MAE-Face on BP4D images. We show the 90% masked image (left), our reconstruction (middle), and the original image (right). We observe that MAE-Face can reconstruct missing expression details corresponding to action units.

실험 결과

연구 질문

• RQ1 애너테이션된 AU 데이터에 의존하지 않고도 자기지도 학습 기반 사전 훈련된 얼굴 표현 모델이 얼굴 동작 단위 검출 및 강도 추정에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 MAE-Face가 훈련 데이터의 매우 작은 부분(예: 1퍼센트)으로만 미세조정되었을 때 일반화 능력이 얼마나 우수한가?
• RQ3 사전 훈련 중 L1 손실를 사용할 경우 L2 손실보다 더 나은 얼굴 표정 복원 및 후행 작업 성능을 달성하는가?
• RQ4 일반 이미지 데이터셋(예: ImageNet-1k)이 아닌 전용 얼굴 이미지 컬렉션에서 사전 훈련하는 것이 AU 분석 작업에 더 유리한가?
• RQ5 추론 시 얼굴 정렬이 이루어지지 않은 상황에서 MAE-Face의 성능에 어떤 영향을 미치며, 이를 생략해도 일반화 능력이 유지되는가?

주요 결과

• MAE-Face는 BP4D, BP4D+, DISFA의 세 가지 벤치마크 데이터셋에서 모두 AU 검출 및 강도 추정에서 새로운 최신 기술 수준의 성능을 달성한다.
• 훈련 데이터의 1퍼센트만으로도 미세조정했을 때 MAE-Face는 성능 저하가 최소한이면서도 뛰어난 성능을 유지하여 뛰어난 데이터 효율성과 일반화 능력을 입증한다.
• 사전 훈련 중 L1 손실를 사용할 경우, 입술과 같은 영역에서 L2 손실보다 더 정확한 얼굴 표정 복원이 가능하다.
• 패치 기반 정규화를 사전 훈련 중 적용하면 성능이 더욱 향상되어, 훈련 안정성 향상과 표현 품질 향상에 기여하는 것으로 확인된다.
• MAE-Face는 무작위 초기화로 학습하거나 ImageNet-1k에서 사전 훈련한 모델보다 뚜렷하게 뛰어난 성능을 보이며, 얼굴 이미지에 특화된 사전 훈련의 유용성을 입증한다.
• 얼굴 정렬 없이도 또는 철저한 하이퍼파rameter 튜닝 없이도 MAE-Face는 대부분의 평가 지표에서 이전 최신 기술 수준의 방법을 뛰어넘는다.

Figure 2: The schematic pipeline of the proposed framework. It consists of two stages: the Pre-training Stage and the Fine-tuning Stage. The model learns facial representations from self-supervised pre-training for facial action unit detection and intensity estimation.