[논문 리뷰] Facial Emotions Recognition using Convolutional Neural Net

Faisal Ghaffar|arXiv (Cornell University)|2020. 01. 06.

Face and Expression Recognition참고 문헌 19인용 수 6

한 줄 요약

이 논문은 JAFFE 및 KDEF 데이터셋의 사전 처리된 이미지를 사용하여 분노, 혐오, 두려움, 기쁨, 슬픔, 놀람, 중립의 일곱 가지 기본 얼굴 감정을 인식하는 컨볼루션 신경망(CNN) 기반 시스템을 제안한다. 데이터 증강 및 드롭아웃을 적용한 3개의 컨볼루션 레이어 아키텍처를 통해 병합된 데이터셋에서 78.1%의 정확도를 달성하였으며, 실시간 GUI 애플리케이션을 통해 라이브 감정 분류가 가능하다.

ABSTRACT

Facial expressions vary from person to person, and the brightness, contrast, and resolution of every random image are different. This is why recognizing facial expressions is very difficult. This article proposes an efficient system for facial emotion recognition for the seven basic human emotions (angry, disgust, fear, happy, sad, surprise, and neutral), using a convolution neural network (CNN), which predicts and assigns probabilities to each emotion. Since deep learning models learn from data, thus, our proposed system processes each image with various pre-processing steps for better prediction. Every image was first passed through the face detection algorithm to include in the training dataset. As CNN requires a large amount of data, we duplicated our data using various filters on each image. Pre-processed images of size 80*100 are passed as input to the first layer of CNN. Three convolutional layers were used, followed by a pooling layer and three dense layers. The dropout rate for the dense layer was 20%. The model was trained by combining two publicly available datasets, JAFFE and KDEF. 90% of the data was used for training, while 10% was used for testing. We achieved maximum accuracy of 78.1 % using the combined dataset. Moreover, we designed an application of the proposed system with a graphical user interface that classifies emotions in real-time.

연구 동기 및 목표

• 일곱 가지 기본 인간 감정을 위한 정확하고 강건한 얼굴 감정 인식 시스템을 개발하기 위해.
• 면역성, 조명, 이미지 품질의 변동성을 해결하기 위해 종합적인 이미지 사전 처리를 통해.
• JAFFE 및 KDEF 데이터셋의 데이터를 병합하고 증강함으로써 모델의 일반화 능력을 향상시키기 위해.
• 실시간 감정 분류 애플리케이션을 그래픽 사용자 인터페이스와 함께 구현하기 위해.
• 다양하고 사전 처리된 얼굴 이미지 데이터셋에서 CNN 기반 모델의 성능을 평가하기 위해.

제안 방법

• 이미지를 CNN에 입력하기 전에 얼굴 영역을 추출하기 위해 얼굴 검출을 적용하였다.
• 필터를 사용하여 이미지를 사전 처리하고 증강하여 훈련 데이터의 다양성을 높이고 모델의 강건성을 향상시켰다.
• 세 개의 컨볼루션 레이어, 맥스 풀링, 그리고 세 개의 완전 연결된 밀집 레이어를 포함한 CNN 아키텍처를 사용하였다.
• 과적합을 줄이기 위해 밀집 레이어에 20%의 드롭아웃 비율을 적용하였다.
• 모델은 JAFFE 및 KDEF 데이터셋을 병합한 후 90%의 데이터로 훈련하고 10%의 데이터로 테스트하였다.
• 훈련된 모델을 사용하여 라이브 비디오 입력으로부터 감정을 분류할 수 있는 실시간 GUI 애플리케이션을 개발하였다.

실험 결과

연구 질문

• RQ1 다양한 조건(조도, 해상도 등)에서 컨볼루션 신경망이 일곱 가지 기본 얼굴 감정을 효과적으로 인식할 수 있는가?
• RQ2 데이터 증강이 얼굴 감정 인식 작업에서 CNN의 성능에 어떤 영향을 미치는가?
• RQ3 커스텀 CNN 아키텍처를 사용하여 JAFFE 및 KDEF 데이터셋을 병합했을 때 달성할 수 있는 정확도는 어느 정도인가?
• RQ4 훈련된 CNN 모델이 실시간 GUI 애플리케이션에 효과적으로 배포되어 라이브 감정 분류가 가능한가?
• RQ5 드롭아웃 정규화가 감정 인식 모델의 일반화에 어떤 영향을 미치는가?

주요 결과

• 제안된 CNN 모델은 병합된 JAFFE 및 KDEF 데이터셋에서 최대 78.1%의 정확도를 달성하였다.
• 필터링을 통한 데이터 증강이 다양한 이미지 조건에서 모델의 강건성과 일반화 능력을 크게 향상시켰다.
• 20%의 드롭아웃 비율을 적용함으로써 과적합이 감소하고 모델의 안정성이 향상되었다.
• 시스템은 기능적인 그래픽 사용자 인터페이스를 갖춘 실시간 감정 분류 애플리케이션을 성공적으로 구현하였다.
• 얼굴 검출 사전 처리를 통해 입력 데이터의 관련성을 높여 얼굴 영역에만 집중할 수 있었다.
• 모델는 일곱 가지 목표 감정 전반에서 일관된 성능을 보였지만, 각 클래스별 정확도에 약간의 변동이 있었다.