[논문 리뷰] Facial Emotion Recognition using Convolutional Neural Networks

Akash Saravanan, Gurudutt Perichetla외 1명|arXiv (Cornell University)|2019. 10. 12.

Emotion and Mood RecognitionPsychology참고 문헌 10인용 수 17

한 줄 요약

이 논문은 단일 데이터셋과 경량 아키텍처를 사용하여 FER-2013 데이터셋에서 60%의 정확도를 달성하는 실시간 얼굴 정서 인식을 위한 여섯 합성곱층을 가진 합성곱 신경망(CNN)을 제안한다. 모델은 필터와 최대 풀링을 통한 공간적 특징 추출을 활용하며, 상위 2개 예측이 신뢰도를 향상시켜 최소한의 데이터로 근사 최신 기술 성능을 보이며 실시간 추론 기능을 구현한다.

ABSTRACT

Facial expression recognition is a topic of great interest in most fields from artificial intelligence and gaming to marketing and healthcare. The goal of this paper is to classify images of human faces into one of seven basic emotions. A number of different models were experimented with, including decision trees and neural networks before arriving at a final Convolutional Neural Network (CNN) model. CNNs work better for image recognition tasks since they are able to capture spacial features of the inputs due to their large number of filters. The proposed model consists of six convolutional layers, two max pooling layers and two fully connected layers. Upon tuning of the various hyperparameters, this model achieved a final accuracy of 0.60.

연구 동기 및 목표

• 화면에 나타나는 얼굴을 분류하여 분노, 혐오, 공포, 기쁨, 슬픔, 놀람, 중립의 일곱 가지 정서로 나누는 실시간 얼굴 정서 인식 시스템을 개발하는 것.
• 실제 환경에서의 구현 과제인 조명 변화, 부분적인 얼굴 노출, 희귀 정서(예: 혐오, 공포)에 대한 훈련 데이터의 불균형 문제를 해결하는 것.
• 다양한 데이터셋을 조합하지 않고도 FER-2013 데이터셋 하나만을 사용하여 높은 정확도를 달성하면서도 모델의 효율성과 일반화 능력을 강조하는 것.
• 실시간 웹캠 입력을 통한 테스트를 통해 모델의 성능을 평가하여 의료, 게임, 마케팅 등 실생활 분야에서의 실시간 적용 가능성을 검증하는 것.
• 초기화 조정 및 아키텍처 선택이 정서 인식 정확도에 미치는 영향을 분석하며, 특히 자원이 제한된 정서 클래스에 초점을 맞추는 것.

제안 방법

• 얼굴 이미지에서 계층적인 공간적 특징을 추출하기 위해 여섯 개의 합성곱층, 두 개의 최대 풀링층, 두 개의 완전 연결층을 갖춘 CNN 아키텍처를 설계하였다.
• FER-2013 데이터셋에서 수렴성과 일반화 능력을 향상시키기 위해 조정된 초기화 조정 조건을 사용한 Adam 옵timizer를 사용하여 모델을 훈련시켰다.
• 출력 소프트맥스층에서 예측 확률이 가장 높은 정서를 선택하여 정서 분류를 수행하였다.
• 실시간 추론이 가능한 웹캠 입력을 활용한 실시간 테스트 모듈을 구현하여 지속적인 지연 없이 작동함을 확인하였다.
• 혼동 행렬 분석과 상위 2개 예측 평가를 통해 모델의 신뢰도를 평가하고 잘못된 분류 패턴을 식별하였다.
• 데이터 증강은 향후 개선 방향으로 고려되었으며, 특히 혐오나 공포와 같이 표현 빈도가 낮은 정서의 클래스 불균형 문제를 해결하기 위함이다.

실험 결과

연구 질문

• RQ1 단일 경량 CNN 아키텍처가 FER-2013 데이터셋만을 사용하여 근사 최신 기술 성능의 정확도를 달성할 수 있는가?
• RQ2 모델은 실시간 웹캠 입력에서 어떻게 작동하는가? 그리고 통제되지 않은 환경에서의 추론 속도와 신뢰도는 어떠한가?
• RQ3 상위 2개 예측이 상위 1개 예측보다 전체 정확도를 얼마나 향상시키는가?
• RQ4 왜 모델은 혐오나 공포와 같은 특정 정서에서 어려움을 겪는가? 클래스 불균형은 성능에 어떤 영향을 미치는가?
• RQ5 다양한 데이터셋을 사용하지 않고도 초기화 조정 및 아키텍처 선택이 성능 향상에 상당한 영향을 미칠 수 있는가?

주요 결과

• 제안된 CNN는 FER-2013 데이터셋에서 최종 정확도 60%를 달성하여 단일 데이터셋과 최소한의 아키텍처 복잡도로도 뛰어난 성능을 보였다.
• 기쁨과 놀람은 가장 정확하게 예측된 정서로, 정확도가 약 60%에 가까웠으며, 혐오는 약간 초과 50%의 경우에 정확하게 예측되었다.
• 실시간 웹캠 테스트에서 높은 정확도를 보였으며, 기쁨과 놀람은 거의 모든 경우에 정확하게 식별되었고, 중립/슬픔 표정은 약 절반의 경우에 정확하게 식별되었다.
• 분노와 공포는 서로 자주 혼동되었으며, 혐오는 거의 정확하게 예측되지 않았다. 이는 미세하거나 빈도가 낮은 정서를 구분하는 데 어려움이 있음을 시사한다.
• 상위 2개 예측 전략은 정확도 향상에 크게 기여하였으며, 정확한 정서가 종종 두 번째로 확률이 높은 예측으로 나타났다. 이는 강력한 추론에 있어 실용적인 가치를 지닌다.
• 지속적인 지연 없이 실시간 추론을 구현하여 게임, 의료, 마케팅 등 실시간 응용 분야에의 도입 잠재력을 확인하였다.