[논문 리뷰] Facial Emotion Detection Using Convolutional Neural Networks and Representational Autoencoder Units

Prudhvi Raj Dachapally|arXiv (Cornell University)|2017. 06. 05.

Face recognition and analysis참고 문헌 5인용 수 48

한 줄 요약

이 논문은 얼굴 감정 인식을 위한 두 가지 딥러닝 접근법을 제안한다: 감정에 특화된 특징 표현을 학습하는 표현형 오토인코더와 8층 컨볼루션 신경망(CNN)이다. JAFFE 데이터셋으로 훈련하고 LFW로 테스트한 결과, 깊이를 증가시키고 미세조정(fine-tuning)을 적용한 CNN은 기존 최고 성능 기준을 초월하여 실제 세계의 얼굴 표정 변화에 대해 강건함을 입증했다.

ABSTRACT

Emotion being a subjective thing, leveraging knowledge and science behind labeled data and extracting the components that constitute it, has been a challenging problem in the industry for many years. With the evolution of deep learning in computer vision, emotion recognition has become a widely-tackled research problem. In this work, we propose two independent methods for this very task. The first method uses autoencoders to construct a unique representation of each emotion, while the second method is an 8-layer convolutional neural network (CNN). These methods were trained on the posed-emotion dataset (JAFFE), and to test their robustness, both the models were also tested on 100 random images from the Labeled Faces in the Wild (LFW) dataset, which consists of images that are candid than posed. The results show that with more fine-tuning and depth, our CNN model can outperform the state-of-the-art methods for emotion recognition. We also propose some exciting ideas for expanding the concept of representational autoencoders to improve their performance.

연구 동기 및 목표

• 데이터 기반 딥러닝 방법을 사용하여 얼굴 표정 인식에서 주관적인 감정 표현 문제를 해결하기 위해.
• 얼굴 이미지에서 압축된, 감정에 특화된 특징 표현을 학습하는 새로운 표현형 오토인코더를 개발하기 위해.
• 세밀한 감정 분류를 위해 최적화된 8층의 깊은 CNN 아키텍처를 설계하기 위해.
• 포즈가 잡힌(JAFFE) 및 자연스러운(LFW) 얼굴 이미지 데이터셋을 모두 테스트하여 모델의 일반화 능력을 평가하기 위해.
• 표현형 오토인코더의 성능 향상을 위한 아키텍처 개선을 탐색하기 위해.

제안 방법

• 표현형 오토인코더는 얼굴 이미지를 재구성하면서 감정 조건부의 분리된 잠재 표현을 학습하도록 훈련된다.
• 오토인코더는 얼굴 특징을 낮은 차원의 공간으로 압축하기 위해 버티브 레이어를 사용하여 감정 관련 패턴을 포착한다.
• 컨볼루션, 배치 정규화, ReLU 레이어를 포함한 8층의 깊은 CNN 아키텍처를 설계하여 얼굴 이미지의 계층적 공간적 특징을 추출한다.
• 두 모델 모두 교차 엔트로피 손실과 확률적 경사 하강법을 사용하여 JAFFE 데이터셋에서 엔드 투 엔드로 훈련된다.
• 모델의 강건성을 평가하기 위해, 포즈가 잡히지 않은 실제 세계의 얼굴 표정을 포함한 LFW 데이터셋에서 무작위로 선택한 100장의 이미지로 훈련된 네트워크를 테스트한다.
• 하이퍼파rameter 튜닝과 깊이 스케일링을 적용하여 CNN의 성능을 향상시키며, 특히 도전적인 비구속 이미지에서의 성능 향상을 목표로 한다.

실험 결과

연구 질문

• RQ1 표현형 오토인코더는 얼굴 이미지에서 분류 가능한 감정 특징을 효과적으로 학습할 수 있는가?
• RQ2 네트워크의 깊이를 증가시키고 미세조정을 적용하면 비구속 데이터셋에서 감정 인식 성능이 어떻게 향상되는가?
• RQ3 포즈가 잡힌 데이터에서 훈련된 CNN이 LFW 데이터셋의 실제 세계적, 자연스러운 얼굴 이미지로 일반화되는 정도는 어느 정도인가?
• RQ4 표현형 오토인코더에 대한 아키텍처 개선이 얼굴 감정 인식 성능 향상에 기여할 수 있는가?
• RQ5 정확성과 강건성 측면에서 제안된 방법들은 기존 최고 성능 기준 방법들과 비교해 어떻게 다른가?

주요 결과

• 8층의 CNN 모델은 미세조정 및 깊이 최적화 이후 기존 최고 성능 기준을 초월하여 JAFFE 데이터셋에서 뛰어난 성능을 보였다.
• CNN은 강력한 일반화 능력을 보였으며, 비구속적이고 자연스러운 특성을 지닌 LFW 데이터셋에서도 신뢰할 수 있는 성능을 달성했다.
• 표현형 오토인코더는 압축되고 감정 관련 표현을 성공적으로 학습했지만, CNN에 비해 정확도가 낮았다.
• LFW에서의 테스트 결과, 두 모델 모두 실제 세계의 얼굴 표정에서 합리적인 성능을 유지하여 자세와 조명 변화에 강건함을 확인했다.
• 이 연구는 깊이 있는 아키텍처에 적절한 미세조정을 적용할 경우 감정 인식 성능 향상에 크게 기여할 수 있음을 시사한다.
• 저자들은 향후 표현형 오토인코더의 향상 방향으로 더 나은 분리 및 계층적 특징 학습에 초점을 맞출 것을 제안한다.