[논문 리뷰] Towards Semi-Supervised Deep Facial Expression Recognition with An Adaptive Confidence Margin

Hangyu Li, Nannan Wang외 3명|arXiv (Cornell University)|2022. 03. 23.

Emotion and Mood Recognition인용 수 6

한 줄 요약

이 논문은 고정 임계값 기반의 가짜 레이블링의 비효율성을 해결하기 위해, 모든 미라벨 데이터(고신뢰도 및 저신뢰도 샘플 포함)를 적극적으로 활용하는 새로운 반감독 학습 방법인 Ada-CM를 제안한다. 고신뢰도 샘플에는 가짜 레이블링을 적용하고, 저신뢰도 샘플에는 특징 수준의 대비 목적함수를 적용함으로써, 동적으로 변화하는 신뢰도 마진을 학습한다. 이 방법은 저라벨 설정에서 RAF-DB, SFEW, AffectNet에서 모두 최신 기준 성능을 초월하며, 완전히 감독된 기반 모델보다 뛰어난 성능을 기록한다.

ABSTRACT

Only parts of unlabeled data are selected to train models for most semi-supervised learning methods, whose confidence scores are usually higher than the pre-defined threshold (i.e., the confidence margin). We argue that the recognition performance should be further improved by making full use of all unlabeled data. In this paper, we learn an Adaptive Confidence Margin (Ada-CM) to fully leverage all unlabeled data for semi-supervised deep facial expression recognition. All unlabeled samples are partitioned into two subsets by comparing their confidence scores with the adaptively learned confidence margin at each training epoch: (1) subset I including samples whose confidence scores are no lower than the margin; (2) subset II including samples whose confidence scores are lower than the margin. For samples in subset I, we constrain their predictions to match pseudo labels. Meanwhile, samples in subset II participate in the feature-level contrastive objective to learn effective facial expression features. We extensively evaluate Ada-CM on four challenging datasets, showing that our method achieves state-of-the-art performance, especially surpassing fully-supervised baselines in a semi-supervised manner. Ablation study further proves the effectiveness of our method. The source code is available at https://github.com/hangyu94/Ada-CM.

연구 동기 및 목표

• 반감독 학습에서 고정 임계값 기반의 가짜 레이블링이 저효율적임을 해결함으로써, 일반적으로 기각되는 저신뢰도의 미라벨 샘플을 효과적으로 활용하고자 한다.
• 모델의 일반화 성능 향상을 위해 저신뢰도 점수를 가진 모든 미라벨 데이터를 포괄적으로 활용하고자 한다.
• 다양한 얼굴 표정 카테고리의 학습 난이도 변화를 반영할 수 있도록 동적으로 변화하는 신뢰도 마진을 개발하고자 한다.
• 저신뢰도 샘플에 대비 목적함수를 도입하여 내부 클래스 변동성에 대응하는 특징 학습을 향상시키고자 한다.
• 저데이터 환경에서 반감독 학습을 통해 완전 감독 기반 모델을 능가하는 성능을 달성하고자 한다.

제안 방법

• 모델의 예측 신뢰도에 기반해 학습 도중 동적으로 변화하는 신뢰도 마진을 학습한다.
• 모든 미라벨 샘플을 두 개의 하위집합으로 분할한다: 신뢰도 점수가 동적 마진 이상인 샘플(하위집합 I)과 이하인 샘플(하위집합 II).
• 하위집합 I에 대해서는 강한 증강된 뷰로부터 생성된 가짜 레이블과 모델 예측 간의 교차 엔트로피 손실을 적용한다.
• 하위집합 II에 대해서는 InfoNCE 손실을 사용한 특징 수준의 대비 목적함수를 적용하여 특징의 구분 능력과 내부 클래스의 밀도를 향상시킨다.
• 학습 에포크 동안 반복적으로 신뢰도 마진을 업데이트하여 다양한 표정 카테고리의 학습 난이도를 반영한다.
• 이 방법은 종단 간 학습이 가능하며, 가짜 레이블링과 대비 학습을 통합된 프레임워크 내에서 통합한다.

실험 결과

연구 질문

• RQ1 고정 임계값 기반 방법과 비교해 동적 신뢰도 마진이 반감독 학습에서 미라벨 데이터의 활용도를 향상시키는가?
• RQ2 저신뢰도의 미라벨 샘플을 대비 목적함수를 통해 통합함으로써 특징 학습과 모델 성능에 어떤 영향을 미치는가?
• RQ3 소수의 라벨 데이터만 존재하는 조건에서 Ada-CM가 완전 감독 기반 모델을 능가할 수 있는가?
• RQ4 동적 마진 메커니즘이 인식 난이도가 다양한 표정 카테고리 간의 일반화 성능 향상에 기여하는가?
• RQ5 특히 라벨 데이터가 부족한 상황에서 교차 데이터셋 평가 환경에서 이 방법의 성능은 어떠한가?

주요 결과

• 저라벨 설정(1/3, 1/2, 1/28 라벨 데이터 비율)에서 Ada-CM는 RAF-DB에서 0.29% 향상, SFEW에서 1.38% 향상, AffectNet에서 4.45% 향상하여 완전 감독 기반 모델을 초월한다.
• 4,000개의 라벨 데이터를 사용할 때, WideResNet-28-2를 사용해 RAF-DB에서 79.34%의 정확도를 기록하며, MarginMix보다 13.28%포인트 높은 성능을 달성한다.
• CK+ 데이터셋에서 ResNet-18을 사용한 교차 데이터셋 평가에서, 4,000개의 라벨 데이터로 85.32%의 정확도를 기록하며, 완전 감독 기반 모델을 3.6%포인트 초월한다.
• 제거 실험 결과, 동적 마진과 저신뢰도 샘플에 대한 대비 목적함수 모두 성능 향상에 필수적임을 확인하였다.
• t-SNE 시각화 결과, Ada-CM는 더 구분력 있는 특징을 학습하며, 특히 어려운 클래스인 슬픔의 경우 더 명확한 클래스 간 경계와 더 조밀한 내부 클래스 군집을 형성함을 확인하였다.
• 이 방법은 다양한 데이터셋 간에서 잘 일반화되며, 이전 연구에서 사용된 무거운 모델보다도 경량의 ResNet-18 기반에서도 뛰어난 성능을 기록한다.