[논문 리뷰] Label Distribution Amendment with Emotional Semantic Correlations for Facial Expression Recognition

Shasha Mao, Guanghui Shi외 5명|arXiv (Cornell University)|2021. 07. 23.

Emotion and Mood Recognition참고 문헌 31인용 수 4

한 줄 요약

이 논문은 얼굴 표정 인식을 위한 새로운 레이블 분포 보정 방법을 제안하며, 감정 의미 상관관계를 활용하여 레이블 신뢰도를 향상시킨다. 의미적 클래스-관계 그래프를 구축하고, 이와 작업 공간 클래스-관계 그래프를 비교하여 신뢰도에 기반해 레이블 분포를 동적으로 조정함으로써, RAF-DB와 같은 와일드 표정 데이터셋에서 뛰어난 성능을 달성한다. 특히 노이즈가 많거나 모호한 레이블 조건에서 유의미한 성능 향상을 보인다.

ABSTRACT

By utilizing label distribution learning, a probability distribution is assigned for a facial image to express a compound emotion, which effectively improves the problem of label uncertainties and noises occurred in one-hot labels. In practice, it is observed that correlations among emotions are inherently different, such as surprised and happy emotions are more possibly synchronized than surprised and neutral. It indicates the correlation may be crucial for obtaining a reliable label distribution. Based on this, we propose a new method that amends the label distribution of each facial image by leveraging correlations among expressions in the semantic space. Inspired by inherently diverse correlations among word2vecs, the topological information among facial expressions is firstly explored in the semantic space, and each image is embedded into the semantic space. Specially, a class-relation graph is constructed to transfer the semantic correlation among expressions into the task space. By comparing semantic and task class-relation graphs of each image, the confidence of its label distribution is evaluated. Based on the confidence, the label distribution is amended by enhancing samples with higher confidence and weakening samples with lower confidence. Experimental results demonstrate the proposed method is more effective than compared state-of-the-art methods.

연구 동기 및 목표

• 실제(와일드) 데이터셋에서의 레이블 불확실성과 노이즈 문제를 해결하기 위해 기존 one-hot 레이블링의 한계를 해결하는 것.
• 행동 표정 간 내재된 다양한 상관관계(예: 놀란 감정과 기쁨 감정의 동시 발생 가능성)를 의미 공간 표현을 통해 모델링하는 것.
• 의미적 및 작업 공간 클래스-관계 그래프를 비교하여 유도된 신뢰도에 기반해 레이블 분포를 동적으로 보정함으로써 레이블 분포의 신뢰도를 향상시키는 것.
• 감정 의미 상관관계를 통합할 경우, 복합적 또는 모호한 표정에 대해 더 정확하고 해석 가능한 레이블 분포를 얻을 수 있음을 입증하는 것.

제안 방법

• 얼굴 이미지를 의미 공간에 임bedding하기 위해 오토인코더를 사용하며, 이는 표정 간 위상적 관계를 유지한다.
• 학습된 의미 임베딩 기반으로 의미적 클래스-관계 그래프를 구축하여 내재된 감정 상관관계(예: 놀란-기쁨 대비 놀란-중립)를 인코딩한다.
• 학습 중 모델의 예측 결과로부터 작업 공간 클래스-관계 그래프를 학습하여 현재 카테고리 할당에 대한 신뢰도를 반영한다.
• 의미적 클래스-관계 그래프와 작업 공간 클래스-관계 그래프를 비교하여 각 샘플의 신뢰도를 평가하고, 상관관계가 일관된지 또는 일관되지 않은지 식별한다.
• 신뢰도 기반 손실 함수를 통해 고신뢰도 샘플의 특징 및 확률을 강화하고, 저신뢰도 샘플의 영향을 억제함으로써 레이블 분포를 보정한다.
• 원래 레이블 분포와 보정된 분포의 영향력을 균형 잡기 위해 하이퍼파rameter β를 사용하며, 다양한 노이즈 수준에서 경험적으로 최적의 값을 도출한다.

실험 결과

연구 질문

• RQ1 얼굴 표정 간 감정 의미 상관관계를 효과적으로 모델링하여 표정 인식에서 레이블 분포 품질을 향상시킬 수 있는가?
• RQ2 의미 상관관계는 와일드 표정 데이터셋에서 레이블 노이즈 및 불확실성의 영향을 어느 정도 감소시킬 수 있는가?
• RQ3 의미적 클래스-관계 그래프와 작업 공간 클래스-관계 그래프를 비교해 유도한 신뢰도 점수는 모호하거나 잘못 레이블링된 얼굴 표정을 신뢰성 있게 식별할 수 있는가?
• RQ4 제안된 레이블 분포 보정 방식은 딥 러닝 모델의 표정 인식 성능에 어떤 영향을 미치는가?
• RQ5 기존 one-hot 또는 표준 레이블 분포 학습 방법에 비해, 이 방법은 복합 표정에 대해 더 해석 가능하고 현실적인 레이블 분포를 생성할 수 있는가?

주요 결과

• 제안된 방법인 SCE-ALD는 RAF-DB, AffectNet, FER2013와 같은 세 개의 와일드 표정 데이터베이스에서 최신 기술 수준의 성능을 달성하며, 기존 레이블 분포 학습 방법을 능가한다.
• RAF-DB에서 30%의 합성 레이블 노이즈 조건 하에서 β = 0.2일 때 최고의 정확도를 기록하여, 고노이즈 환경에서 낮은 β 값이 최적임을 확인한다.
• 레이블 노이즈에 대한 강건성을 입증하며, 특히 고노이즈 환경에서 성능 향상이 두드러져, 신뢰도 기반 레이블 보정의 중요성을 확인한다.
• 시각화 결과는 보정된 레이블 분포가 의미적으로 타당함을 보여주며, 예를 들어 빛나는 기쁨 감정이 시각적으로 지배적인 복합 표현에서는 기쁨의 확률이 더 높게 할당됨을 확인할 수 있다.
• 복합 RAF-DB 데이터셋에서 모델의 예측 레이블 분포가 인간 레이블러의 다중 레이블과 유사하며, 확률 값이 시각적 주목도를 반영한다—예를 들어 슬픔이 더 두드러질 경우 슬픔의 확률이 공포보다 더 높게 할당된다.
• 제거 실험 결과, 레이블 분포 보정 메커니즘이 필수적임을 입증하였으며, 기준 방법(β = 1)은 제안된 적응형 보정 전략보다 성능이 열 劣하다.