[논문 리뷰] Suppressing Uncertainties for Large-Scale Facial Expression Recognition

Kai Wang, Xiaojiang Peng외 3명|arXiv (Cornell University)|2020. 02. 24.

Emotion and Mood Recognition참고 문헌 41인용 수 53

한 줄 요약

Self-Cure Network(SCN)을 도입하여 자기 주의 가중치, 랭크 정규화, 재라벨링을 활용해 대규모 FER의 불확실성을 억제하고; RAF-DB, AffectNet, FERPlus에서 최첨단 성능을 달성.

ABSTRACT

Annotating a qualitative large-scale facial expression dataset is extremely difficult due to the uncertainties caused by ambiguous facial expressions, low-quality facial images, and the subjectiveness of annotators. These uncertainties lead to a key challenge of large-scale Facial Expression Recognition (FER) in deep learning era. To address this problem, this paper proposes a simple yet efficient Self-Cure Network (SCN) which suppresses the uncertainties efficiently and prevents deep networks from over-fitting uncertain facial images. Specifically, SCN suppresses the uncertainty from two different aspects: 1) a self-attention mechanism over mini-batch to weight each training sample with a ranking regularization, and 2) a careful relabeling mechanism to modify the labels of these samples in the lowest-ranked group. Experiments on synthetic FER datasets and our collected WebEmotion dataset validate the effectiveness of our method. Results on public benchmarks demonstrate that our SCN outperforms current state-of-the-art methods with extbf{88.14}\% on RAF-DB, extbf{60.23}\% on AffectNet, and extbf{89.35}\% on FERPlus. The code will be available at \href{https://github.com/kaiwang960112/Self-Cure-Network}{https://github.com/kaiwang960112/Self-Cure-Network}.

연구 동기 및 목표

• 대규모 FER에서 모호한 표현, 저품질 이미지, 주석자의 주관성에서 비롯되는 불확실성을 동기부여하고 해결합니다.
• 딥 FER 모델의 학습 과정에서 불확실성을 억제하기 위한 간단하지만 효과적인 프레임워크(SCN)를 제안합니다.
• 세 가지 모듈—자기 주의 가중치, 랭크 정규화, 재라벨링—을 설계하여 불확실한 샘플의 영향을 줄이고자 합니다.
• 합성 노이즈 데이터, 실제 세계의 불확실한 WebEmotion 데이터셋, 공개 FER 벤치마크에서 SCN의 효과를 입증합니다.
• 각 모듈과 손실 구성요소의 기여를 정량화하기 위한 차폐 실험(ablation studies)을 제공합니다.

제안 방법

• 백본 CNN으로 얼굴 특징을 추출하고 각 샘플에 대한 중요도 가중치를 할당하는 자기 주의 중요도 가중화 모듈을 적용합니다.
• 샘플 가중치를 사용하여 신뢰할 수 있는 샘플을 강조하는 로짓 가중치 교차 엔트로피 손실(WCE-Loss)을 계산합니다.
• 가중치를 랭킹하는 Rank Regularization 손실(RR-Loss)을 통해 학습된 가중치를 정규화하고, 높은 그룹/낮은 그룹으로 분할한 뒤 평균 간의 여유(margin)를 강제합니다.
• (선택적으로) 낮은 중요도 그룹의 불확실한 샘플에 대해 최대 예측 확률을 주어진 라벨 확률과 비교하고 여유 임계치(delta2)로 재라벨링합니다.
• RR-Loss와 WCE-Loss의 조합으로 엔드 투 엔드 학습을 수행하고, 에포크 10 이후 재라벨링을 포함하는 2단계 전략을 사용합니다.
• 구현 세부사항: ResNet-18 백본, 얼굴 탐지를 위한 MTCNN, 배치 크기 1024, 고중요도 그룹 비율로 beta=0.7, delta1=0.15, delta2=0.2.

실험 결과

연구 질문

• RQ1 대규모 FER에서 불확실한 주석으로 인한 문제를 어떻게 완화할 수 있는가?
• RQ2 추가 추론 비용 없이도 경량의 엔드투엔드 모듈(SCN)이 노이즈 라벨과 저품질 데이터에 대한 강인성을 향상시킬 수 있는가?
• RQ3 불확실성 하에서 FER 성능에 대한 자기 주의 가중치, 랭크 정규화, 재라벨링의 상대적 기여도는 무엇인가?
• RQ4 노이즈가 많은 실제 데이터(WebEmotion)에서의 사전학습과 SCN 사전학습이 깨끗한 FER 벤치마크의 성능을 향상시키는가?
• RQ5 합성 라벨 노이즈와 실제 불확실한 주석에서 SCN 구성요소의 성능은 어떠한가?

주요 결과

• SCN은 RAF-DB, FERPlus 및 AffectNet에서 합성 라벨 노이즈 하의-baselines를 꾸준히 개선하며, 노이즈 수준이 높아질수록 더 큰 이점을 보입니다.
• 자기 주의 가중치(WCE-Loss)가 SCN 구성요소 중에서 가장 강한 성능 향상을 제공합니다.
• 랭크 정규화(RR-Loss)와 재라벨링은 WCE-Loss 위에 추가 이익을 제공합니다(차폐 실험에서).
• WebEmotion에서 SCN을 사용한 사전학습은 대상 데이터셋에 대해 미세조정 후 RAF-DB, AffectNet 및 FERPlus의 성능을 더 향상시킵니다.
• SCN은 최첨단 결과를 달성합니다: RAF-DB에서 88.14%, AffectNet에서 60.23%, FERPlus에서 89.35%(IR50 기준).
• WebEmotion에서 SCN 기반 사전학습은 SCN가 없는 사전학습보다 하류 성능이 더 높습니다.