[논문 리뷰] Training Deep Networks for Facial Expression Recognition with Crowd-Sourced Label Distribution

Emad Barsoum, Cha Zhang외 2명|arXiv (Cornell University)|2016. 08. 03.

Emotion and Mood Recognition참고 문헌 29인용 수 11

한 줄 요약

이 논문은 단일 다数 투표 대신 군중으로부터 수집한 레이블 분포를 사용하여 깊이 합성곱 신경망(DCNN)을 훈련시켜 얼굴 표정 인식을 수행하는 방법을 제안한다. 각 이미지당 다수의 노이즈 있는 레이블을 확률적 레이블 추출(PLD)과 교차 엔트로피 손실(CEL)을 통해 활용함으로써, 다수 투표보다 1% 이상 높은 정확도를 달성한다. 이는 레이블의 불확실성을 모델링함으로써 군중으로부터 수집한 노이즈 있는 데이터에 대해 더 강건한 성능을 확보할 수 있음을 보여준다.

ABSTRACT

Crowd sourcing has become a widely adopted scheme to collect ground truth labels. However, it is a well-known problem that these labels can be very noisy. In this paper, we demonstrate how to learn a deep convolutional neural network (DCNN) from noisy labels, using facial expression recognition as an example. More specifically, we have 10 taggers to label each input image, and compare four different approaches to utilizing the multiple labels: majority voting, multi-label learning, probabilistic label drawing, and cross-entropy loss. We show that the traditional majority voting scheme does not perform as well as the last two approaches that fully leverage the label distribution. An enhanced FER+ data set with multiple labels for each face image will also be shared with the research community.

연구 동기 및 목표

• 다수의 평가자로부터 수집한 노이즈가 많고 주관적인 군중 레이블 문제를 해결하기 위해, 여러 평가자로부터의 레이블 분포를 활용한다.
• 감정 레이블의 불확실성을 모델링하여 기존의 다수 투표 방식을 초월한 분류 성능 향상을 도모한다.
• 미래 연구를 지원하기 위해 각 이미지당 10개의 군중 레이블을 포함한 향상된 FER+ 데이터셋을 구축하고 공개한다.
• 깊이 신경망에서 다수 투표, 다중 레이블 학습, 확률적 레이블 추출, 교차 엔트로피 손실의 네 가지 훈련 방식을 평가하고 비교한다.
• 레벨 분포를 완전히 활용할 경우, 실제 세계의 얼굴 표정 인식 작업에서 더 나은 일반화와 높은 정확도를 달성할 수 있음을 입증한다.

제안 방법

• 비전문가 평가자들로부터 각 이미지당 10개의 군중 레이블을 수집하여 각 샘플의 레이블 분포를 구성한다.
• 레이블 빈도에 이상치 제거 및 정규화를 적용하여 각 이미지에 대한 유효한 확률 분포 $ p_k^i $ 를 생성한다.
• 확률적 레이블 추출(PLD)을 사용: 각 훈련 에포크 동안 분포 $ p_k^i $ 에서 하나의 감정 레이블을 샘플링한 후, 표준 교차 엔트로피 손실을 적용한다.
• 교차 엔트로피 손실(CEL)을 직접 전체 레이블 분포에 적용: $ \mathcal{L} = -\sum_{k=1}^{8} p_k^i \log q_k^i $, 여기서 $ q_k^i $ 는 네트워크의 예측 확률이다.
• 통계적 안정성을 확보하기 위해 다섯 개의 랜덤 시드를 사용하여 네 가지 방식(MV, ML, PLD, CEL)으로 맞춤형 VGG13 네트워크를 훈련시킨다.
• 평가를 위해 다수 감정을 지정된 진짜 레이블로 사용하고, 모든 방식 간의 테스트 정확도를 비교한다.

실험 결과

연구 질문

• RQ1 군중으로부터 수집한 감정 레이블의 전체 분포를 모델링하면 다수 투표 대비 얼굴 표정 인식 정확도 향상에 기여하는가?
• RQ2 다중 레이블 처리 전략 중 다중 레이블 학습, 확률적 샘플링, 직접 분포 피팅과 같은 방법들이 DCNN 성능에 어떤 영향을 미치는가?
• RQ3 레이블 분포를 활용함으로써 감정 레이블의 노이즈와 주관성에 의한 영향을 완화할 수 있는가?
• RQ4 테스트 정확도 측면에서 확률적 레이블 추출과 레이블 분포에 대한 직접 교차 엔트로피 손실 간의 상대적 성능은 어떠한가?
• RQ5 다중 레이블 학습은 다수의 레이블을 다룰 수 있는 이론적 융통성은 있지만, 왜 성능이 저조한가?

주요 결과

• 확률적 레이블 추출(PLD)과 교차 엔트로피 손실(CEL) 방식이 가장 높은 테스트 정확도를 기록했으며, 각각 84.986% ± 0.366% 와 84.716% ± 0.239% 를 달성했다.
• PLD와 CEL은 모두 다수 투표(MV)보다 1% 이상 높은 성능을 보였으며, t-값 약 3.1로 99–99.5% 신뢰수준에서 통계적으로 유의미한 결과를 보였다.
• 다중 레이블 학습(ML)은 예상보다 성능이 떨어져 83.966% ± 0.362% 를 기록하여, 훈련과 평가 프로토콜 간의 불일치가 원인일 가능성이 있다.
• PLD와 CEL 간 성능 격차는 표준편차 내에 있었으며, 이는 유사한 효과를 지닌 것으로 나타났다. 다만 PLD는 DisturbLabel 방법과 유사성 때문에 略적 우위를 보였다.
• 모델은 '역겨움'과 '경멸'에 대해 가장 어려움을 겪었는데, 이는 FER+ 훈련 세트에서 이들 클래스의 샘플 수가 적기 때문이며, 데이터 불균형이 핵심 제약 요소임을 시사한다.
• 이중 이상치 제거된 분포를 포함하여 각 이미지당 10개의 레이블을 가진 FER+ 데이터셋은 향후 노이즈 있는 레이블 학습 연구를 지원하기 위해 공개되었다.