[논문 리뷰] Revisiting Self-Supervised Contrastive Learning for Facial Expression Recognition

Yuxuan Shu, Gu Xiao외 2명|arXiv (Cornell University)|2022. 10. 08.

Emotion and Mood Recognition인용 수 10

한 줄 요약

이 논문은 얼굴 표정 인식을 위한 자기지도 대비 학습 프레임워크를 제안하며, 효과적인 데이터 증강, 하드 음성 쌍 샘플링, 마스크 기반 전략을 통한 가짜 음성 쌍 제거(MaskFN)를 도입하여 표현 특화 표현 학습을 향상시킨다. 이 방법은 분류형 및 차원형 FER 벤치마크에서 기존 자기지도 학습 방법들을 능가하는 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The success of most advanced facial expression recognition works relies heavily on large-scale annotated datasets. However, it poses great challenges in acquiring clean and consistent annotations for facial expression datasets. On the other hand, self-supervised contrastive learning has gained great popularity due to its simple yet effective instance discrimination training strategy, which can potentially circumvent the annotation issue. Nevertheless, there remain inherent disadvantages of instance-level discrimination, which are even more challenging when faced with complicated facial representations. In this paper, we revisit the use of self-supervised contrastive learning and explore three core strategies to enforce expression-specific representations and to minimize the interference from other facial attributes, such as identity and face styling. Experimental results show that our proposed method outperforms the current state-of-the-art self-supervised learning methods, in terms of both categorical and dimensional facial expression recognition tasks.

연구 동기 및 목표

• 자기지도 대비 학습에서 정체성 및 스타일 특징이 단순 학습 신호로 작용하는 문제를 해결하기 위해 표현 특화 표현 학습을 향상시키는 것.
• 자기지도 표현 학습에서 얼굴 정체성, 헤어 스타일, 메이크업과 같은 비표현 특성의 간섭을 최소화하는 것.
• 대규모 레이블링된 데이터셋에 의존하지 않고도 분류형 표정 분류 및 차원형 밸런스-도전도 회귀 성능을 향상시키는 것.
• 대비 학습에서 임의의 상관관계를 줄이고 분리된 감정 관련 특징을 강화하는 전략을 개발하는 것.

제안 방법

• 시간 기반 증강(TimeAug)을 적용하여 양성 쌍의 시간적 일관성과 표현 민감도를 향상시키는 새로운 데이터 증강 전략을 도입한다.
• 다른 감정 레이블을 가졌지만 외관이 유사한 쌍을 우선시하는 하드 음성 쌍 샘플링 방법을 사용하여 식별의 난이도를 높이고 특징 일반화를 촉진한다.
• 특정 얼굴 영역(눈과 입)을 마스킹하여 모델이 가짜 양성 쌍을 음성 쌍으로 학습하는 것을 방지함으로써 가짜 음성 쌍을 줄이는 가짜 음성 쌍 제거 메커니즘(MaskFN)을 제안한다.
• 대비 사전학습 중 표현 관련 영역(눈과 입)을 고립하고 강조하기 위해 마스킹된 특징 추출 모듈을 사용한다.
• 다운스트림 작업(FER 및 얼굴 인식)에서 표현 품질과 분리도를 평가하기 위해 선형 프로빙 및 KNN 기반 평가를 적용한다.
• 최대 250 에포크까지 연장된 에포크로 모델을 훈련하고 얼굴 인식 성능 저하를 모니터링하여 정체성 제거 목표의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 효과적인 데이터 증강이 자기지도 대비 학습에서 표현 특화 표현 학습을 향상시킬 수 있는가?
• RQ2 하드 음성 쌍의 수를 늘임으로써 모델이 서로 다른 감정 표현을 구분하는 능력이 향상되는가?
• RQ3 특정 마스킹 전략을 통해 가짜 음성 쌍을 줄일 수 있는가? 이는 다운스트림 FER 성능 향상에 기여하는가?
• RQ4 MaskFN을 통해 정체성 관련 정보를 제거함으로써 표현 표현의 일반화 능력이 얼마나 향상되는가?

주요 결과

• 선형 프로빙을 사용할 때 제안된 방법은 FER-2013 데이터셋에서 59.5%의 F1 스코어를 달성하여 이전 SOTA 자기지도 학습 방법보다 2.6% 높은 성능을 보였다.
• 150 에포크의 사전학습을 거친 모델은 LFW 얼굴 인식 벤치마크에서 65.4%의 탑-1 정확도를 기록하여 정체성 관련 특징의 효과적인 억제를 나타냈다.
• MaskFN 전략을 통해 한 개의 가짜 음성 쌍을 추가했을 때 FER 성능이 0.5% 향상되어 가짜 음성 쌍 제거의 효과를 입증했다.
• MaskFN 적용 시 밸런스-도전도 회귀(CCC 및 RMSE) 성능은 약간 감소하여 분류형과 차원형 표현 학습 간의 상충 관계가 있음을 시사한다.
• 과도한 훈련은 얼굴 인식 성능 저하를 유도하며, 이는 정체성 정보가 장기 훈련 시 모델에 학습된다는 것을 확인함으로써 정체성 억제 목표와 부합한다.
• 눈과 입의 특징 디스크립터는 FER에서는 59.1% F1로 전체 얼굴 특징보다 우수한 성능를 보였지만, FR에서는 45.5% KNN 정확도로 열등하여 감정을 담고 있는 얼굴 영역이 표현 학습에 더 효과적임을 확인한다.