[논문 리뷰] Island Loss for Learning Discriminative Features in Facial Expression Recognition

Jie Cai, Zibo Meng외 4명|arXiv (Cornell University)|2017. 10. 09.

Emotion and Mood Recognition인용 수 13

한 줄 요약

이 논문은 얼굴 표정 인식에서 유사한 클래스 간 변동성을 줄이고 클래스 간 분리도를 높임으로써 분류 가능 특징 학습을 향상시키기 위해 새로운 아일랜드 손실(İL)을 제안한다. 소프트맥스 손실과 함께 훈련된 İL-CNN 모델은 임베딩 공간에서 조밀하고 잘 분리된 특징 클러스터를 형성함으로써 CK+, MMI, CASIA, SFEW를 포함한 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Over the past few years, Convolutional Neural Networks (CNNs) have shown promise on facial expression recognition. However, the performance degrades dramatically under real-world settings due to variations introduced by subtle facial appearance changes, head pose variations, illumination changes, and occlusions. In this paper, a novel island loss is proposed to enhance the discriminative power of the deeply learned features. Specifically, the IL is designed to reduce the intra-class variations while enlarging the inter-class differences simultaneously. Experimental results on four benchmark expression databases have demonstrated that the CNN with the proposed island loss (IL-CNN) outperforms the baseline CNN models with either traditional softmax loss or the center loss and achieves comparable or better performance compared with the state-of-the-art methods for facial expression recognition.

연구 동기 및 목표

• 자세, 조명, 가림 등의 변화와 같은 실제 환경 조건에서 발생하는 표정 인식의 높은 유사 클래스 간 변동성과 유사한 클래스 간 유사성 문제를 해결하기 위해.
• 딥 컨볼루션 네트워크가 학습한 특징의 분류 가능성을 향상시키기 위해 유사 클래스 내 분산을 명시적으로 줄이고 클래스 간 거리를 증가시키기 위해.
• 보조 구조나 복잡한 아키텍처에 의존하지 않고 특징의 조밀성과 분리도를 향상시키는 일반적인 목적 함수를 개발하기 위해.
• 제안된 손실의 효과성을 자발적이고 포즈 기반의 표정 데이터베이스, 특히 도전적인 SFEW 데이터셋에서 검증하기 위해.

제안 방법

• 아일랜드 손실(İL)은 클래스 중심으로 특징를 끌어당킴(유사 클래스 간 변동성 감소)과 동시에 중심 간 거리를 증가시킴(클래스 간 거리 증가)을 동시에 고려하는 공동 최적화 목표로 설계된다.
• İL은 CNN의 두 번째 완전 연결층에 적용되며, 최종 분류층에서는 표준 소프트맥스 손실을 사용하여 공동 최적화를 가능하게 한다.
• 손실 함수는 코사인 유사도를 측정 기준으로 사용하여 각 샘플과 그 클래스 중심 간의 거리를 최소화하고, 클래스 중심 간의 거리를 최대화하도록 제작된다.
• 모델 아키텍처는 PReLU와 배치 정규화를 포함한 세 개의 컨볼루션 레이어, 첫 번째와 두 번째 레이어 이후로 맥스 풀링, 그리고 표현 학습을 위한 두 개의 완전 연결 레이어로 구성된다.
• t-SNE 시각화를 통해 소프트맥스 손실, 중심 손실, 그리고 제안된 아일랜드 손실을 사용해 학습된 특징 분포를 정성적으로 비교한다.
• 유사 클래스 내 조밀성과 이방 클래스 간 분리도를 정량적으로 평가하기 위해 클래스 중심 간 거리와 샘플과 중심 간 거리의 코사인 거리를 계산한다.

실험 결과

연구 질문

• RQ1 유사 클래스 내 분산을 줄이고 이방 클래스 간 거리를 증가시키는 동시에, 새로운 손실 함수가 깊이 학습된 특징의 분류 가능성을 향상시킬 수 있는가?
• RQ2 전통적인 소프트맥스 손실 및 중심 손실과 비교할 때, 제안된 아일랜드 손실은 유사 클래스 내 조밀성과 이방 클래스 간 분리도 측면에서 어떻게 성능을 발휘하는가?
• RQ3 아일랜드 손실은 포즈 기반 및 자발적 표정 데이터를 포함한 다양한 데이터셋에서 일관된 성능 향상을 이끌 수 있는가?
• RQ4 아일랜드 손실은 얼굴 표정 인식을 넘어 다른 컨볼루션 신경망 기반의 인식 작업으로 일반화될 수 있는가?

주요 결과

• SFEW 데이터셋에서 IL-CNN는 앙상블 학습을 통해 테스트 세트 정확도 59.41%를 달성하였으며, 기준 소프트맥스 손실(52.12%)과 중심 손실(53.79%)보다 유의미하게 높은 성능을 보였다.
• 모든 데이터셋에서 가장 큰 평균 중심 간 코사인 거리(CK+에서 0.4396, MMI에서 0.5250, CASIA에서 0.4562, SFEW 검증에서 0.3778)를 기록하여 뛰어난 이방 클래스 간 분리도를 입증했다.
• 소프트맥스 손실 및 중심 손실과 비교해 가장 낮은 평균 샘플-중심 거리(CK+에서 0.0194, MMI에서 0.0618, CASIA에서 0.0307, SFEW 검증에서 0.0689)를 기록하여 유사 클래스 내 변동성이 감소했음을 확인했다.
• t-SNE 시각화 결과, 아일랜드 손실로 학습된 특징은 소프트맥스나 중심 손실보다 더 조밀하고 잘 분리된 클러스터를 형성하는 것으로 확인되었으며, 특히 겹치는 영역에서 두드러진 성능 향상을 보였다.
• IL-CNN는 CK+, MMI, CASIA, SFEW를 포함한 네 가지 벤치마크 데이터셋에서 최신 기술 수준 또는 유사한 성능을 달성하였으며, 실제 환경 변화가 많은 도전적인 SFEW 데이터셋에서도 뛰어난 성능을 보였다.
• 제거 실험 결과, 아일랜드 손실이 이방 클래스 간 거리 증가와 유사 클래스 내 조밀성 향상이라는 이중 최적화 목표를 일관되게 향상시킴을 확인하여 그 효과를 검증했다.