[논문 리뷰] Facial Expression Recognition with Deep Learning

Amil Khanzada, Charles Bai외 1명|arXiv (Cornell University)|2020. 04. 08.

Emotion and Mood Recognition참고 문헌 15인용 수 25

한 줄 요약

이 논문은 여러 최신 기술 기반의 딥러닝 모델을 사용하여 얼굴 표정 인식(Facial Expression Recognition, FER)을 위한 접근법을 제안하며, FER2013 테스트 세트에서 75.8%의 정확도를 달성하여 이전에 발표된 모든 논문을 능가한다. 또한 모델을 디바이스에서 실행하는 모바일 웹 애플리케이션을 통해 실시간 추론을 구현하여 실제 환경에서의 실용적 구현 가능성을 높였다.

ABSTRACT

One of the most universal ways that people communicate is through facial expressions. In this paper, we take a deep dive, implementing multiple deep learning models for facial expression recognition (FER). Our goals are twofold: we aim not only to maximize accuracy, but also to apply our results to the real-world. By leveraging numerous techniques from recent research, we demonstrate a state-of-the-art 75.8% accuracy on the FER2013 test set, outperforming all existing publications. Additionally, we showcase a mobile web app which runs our FER models on-device in real time.

연구 동기 및 목표

• 기존 딥러닝 기법을 초월하여 얼굴 표정 인식(Facial Expression Recognition, FER)의 정확도를 향상시키는 것.
• 스마트폰에서 실시간 FER를 수행할 수 있는 구현 가능한 시스템을 개발하는 것.
• 고정확도 모델과 실질적인 디바이스 내 응용 간 격차를 메우는 것.
• 최근의 딥러닝 기법을 활용하여 FER2013 벤치마크에서 성능을 최적화하는 것.
• 모바일 웹 애플리케이션을 통해 엔드 투 엔드 실시간 추론을 구현하는 것.

제안 방법

• 저자는 얼굴 표정 인식에 최적화된 여러 딥러닝 아키텍처를 구현하고 평가한다.
• 최근 연구에서 도입된 고도화된 기법들을 적용하여 FER2013 데이터셋에서의 모델 성능을 최적화한다.
• 최종 모델은 디바이스 내 추론을 통해 구현된 모바일 웹 애플리케이션에 배포되어 낮은 지연 시간과 프라이버시 보장을 확보한다.
• 모델 훈련은 이동 기기 배포에 적합한 효율성을 유지하면서 정확도를 극대화하는 데 집중된다.
• 스마트폰에서 실시간 얼굴 표정 분류를 가능하게 하기 위해 경량 추론 파이프라인을 사용한다.
• 전이 학습과 데이터 증강 전략을 통합하여 모델의 강건성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 최신 딥러닝 기법을 사용할 때 FER2013 벤치마크에서 달성 가능한 최고의 정확도는 얼마인가?
• RQ2 고정확도 FER 모델을 이동 기기에서 실시간 추론에 효율적으로 구현할 수 있는가?
• RQ3 최근의 딥러닝 기술 발전은 이전 방법에 비해 얼굴 표정 인식 성능에 어떤 영향을 미치는가?
• RQ4 이동 기기 배포 시 모델 정확도와 추론 효율성 간의 상충 관계는 어떠한가?
• RQ5 완전히 디바이스 내에서 작동하는 실시간 FER 시스템을 효과적으로 구축하고 시연할 수 있는가?

주요 결과

• 제안된 모델은 FER2013 데이터셋에서 기존에 발표된 모든 결과를 초월하는 최신 기술 기반의 테스트 정확도 75.8%를 달성한다.
• 모델은 클라우드 처리에 의존하지 않고 디바이스 내에서 실시간 추론을 수행하는 모바일 웹 애플리케이션에 성공적으로 배포되었다.
• 실제 응용 분야인 인간-컴퓨터 상호작용 및 정서 컴퓨팅에 적합한 낮은 지연 시간 성능을 보였다.
• 최근의 고도화된 딥러닝 기법 통합은 기준 모델 대비 심각한 정확도 향상을 이끌었다.
• 디바이스 내 추론은 사용자 프라이버시를 보장하고 네트워크 연결 의존도를 감소시킨다.
• 결과는 고정확도와 실시간 성능이 이동 기기 기반 FER 시스템에서 동시에 달성 가능하다는 것을 확인시켰다.