[논문 리뷰] Using Self-Supervised Auxiliary Tasks to Improve Fine-Grained Facial Representation

Mahdi Pourmirzaei, Gholam Ali Montazer외 1명|arXiv (Cornell University)|2021. 05. 13.

Face recognition and analysis인용 수 15

한 줄 요약

이 논문은 자기지도 보조 작업—이미지 퍼즐링과 지각적 인painting—을 감독 미세조정에 통합하는 하이브리드 다중작업 학습(HMTL) 방법을 제안한다. 이는 미세조정된 얼굴 표현을 위한 자기지도 보조 작업을 통합한 것으로, AffectNet에서 사전학습 데이터 없이도 8감정 얼굴 표정 인식에서 최신 기술 성능을 달성한다. 기존의 자기지도 사전학습보다 우수하며, 특히 데이터가 적은 환경에서 더 큰 성능 향상을 보인다.

ABSTRACT

Facial emotion recognition (FER) is a fine-grained problem where the value of transfer learning is often assumed. We first quantify this assumption and show that, on AffectNet, training from random initialization with sufficiently strong augmentation consistently matches or surpasses fine-tuning from ImageNet. Motivated by this result, we propose Hybrid Multi-Task Learning (HMTL) for FER in the wild. HMTL augments supervised learning (SL) with self-supervised learning (SSL) objectives during training, while keeping the inference-time model unchanged. We instantiate HMTL with two tailored pretext tasks, puzzling and inpainting with a perceptual loss, that encourage part-aware and expression-relevant features. On AffectNet, both HMTL variants achieve state-of-the-art accuracy in the eight-emotion setting without any additional pretraining data, and they provide larger gains under low-data regimes. Compared with conventional SSL pretraining, HMTL yields stronger downstream performance. Beyond FER, the same strategy improves fine-grained facial analysis tasks, including head pose estimation and gender recognition. These results suggest that aligned SSL auxiliaries are an effective and simple way to strengthen supervised fine-grained facial representation without adding extra computation cost during inference time.

연구 동기 및 목표

• 실세계 환경에서 미세조정된 얼굴 표현 학습을 위해 자기지도 사전학습이 반드시 필요한지 조사하는 것.
• 추가 데이터나 추론 비용 없이도 라벨이 부족한 얼굴 표정 인식 문제를 해결하기 위해 특징 학습을 향상시키는 것.
• 감정 인식 외에도 다양한 미세조정된 얼굴 분석 작업에 적합한 자기지도 목표를 통합한 통합 학습 프레임워크를 개발하는 것.
• 정렬된 자기지도 작업이 감정 인식을 넘어서 다양한 미세조정된 얼굴 분석 작업에서 성능 향상을 이끌어내는지 평가하는 것.

제안 방법

• 감정 인식을 위한 감독 학습과 두 가지 자기지도 선구 과제를 함께 훈련하는 하이브리드 다중작업 학습(HMTL)을 제안한다.
• 입력 이미지를 조각으로 나누어 조각의 순서를 예측하도록 훈련하는 '퍼즐링' 과제를 도입하여 부분 인식 특징 학습을 장려한다.
• VGG 기반 지각 손실을 사용하여 손실된 영역을 복원하는 지각적 인painting 과제를 구현하여 표현 관련 특징 학습을 촉진한다.
• 추론 시 동일한 모델을 유지하여 배포 시 추가 계산 비용이 발생하지 않도록 한다.
• 감정 분류를 위한 교차 엔트로피 손실와 두 보조 과제의 손실를 조합한 다중작업 손실을 사용하며, 훈련 중에 함께 최적화한다.
• 일반화 성능 향상을 위해 특히 데이터가 적은 환경에서 효과적으로 작용하도록 강력한 데이터 증강을 훈련 중에 적용한다.

실험 결과

연구 질문

• RQ1 AffectNet에서 ImageNet 사전학습 모델을 사용한 전이 학습보다, 강력한 증강 기법을 사용해 무작위 초기화에서 미세조정하는 것이 더 우수한가?
• RQ2 사전학습 데이터를 사용하지 않고도 자기지도 보조 과제가 감정 인식의 최종 성능 향상에 기여하는가?
• RQ3 제안된 선구 과제인 퍼즐링과 지각적 인painting 과제가 부분 인식 특징과 표현 관련 특징 학습에 어떻게 기여하는가?
• RQ4 HMTL 프레임워크는 감정 인식을 넘어서 다른 미세조정된 얼굴 분석 과제로 일반화되는가?
• RQ5 HMTL는 기존의 자기지도 사전학습 대비 최종 성능과 데이터 효율성 측면에서 어떻게 비교되는가?

주요 결과

• AffectNet에서 두 보조 과제를 모두 사용한 HMTL는 사전학습 데이터 없이도 8감정 설정에서 최신 기술 성능을 달성한다.
• HMTL는 기존의 자기지도 사전학습보다 성능이 뛰어나, 정렬된 보조 과제가 일반적인 사전학습보다 더 효과적임을 보여준다.
• HMTL의 성능 향상은 특히 데이터가 적은 환경에서 두드러지게 나타나, 데이터 효율성이 향상됨을 시사한다.
• 동일한 HMTL 전략은 머리 자세 추정 및 성별 인식을 포함한 다른 미세조정된 얼굴 분석 과제에서도 성능 향상에 기여한다.
• 무작위 초기화에서 강력한 증강 기법만을 사용해 훈련하는 것만으로도 ImageNet 사전학습에서의 미세조정 성능을 충족하거나 초월한다. 이는 ImageNet 사전학습이 필수적이라는 가정을 도전한다.
• 지각적 인painting 과제가 퍼즐링 과제보다 더 큰 기여를 하며, 공간적 순서 정렬보다 표현 관련 복원이 더 유익함을 시사한다.