[논문 리뷰] Emotion Detection using Image Processing in Python

Raghav Puri, Archit Gupta외 4명|arXiv (Cornell University)|2020. 12. 01.

Face recognition and analysis참고 문헌 3인용 수 11

한 줄 요약

이 논문은 OpenCV와 NumPy를 활용하여 실시간으로 얼굴 감정을 탐지하는 파이썬 기반 시스템을 제시한다. 사전 학습된 데이터셋을 활용하여 라이브 카메라 영상 또는 정적 이미지에서 감정을 분류한다. 이 방법은 얼굴 특징을 추출하고 학습 데이터와 비교하여 신뢰할 수 있는 감정 인식을 구현하며, 실용적 응용 분야에서의 타당성과 정확성을 입증한다.

ABSTRACT

In this work, user's emotion using its facial expressions will be detected. These expressions can be derived from the live feed via system's camera or any pre-exisiting image available in the memory. Emotions possessed by humans can be recognized and has a vast scope of study in the computer vision industry upon which several researches have already been done. The work has been implemented using Python (2.7, Open Source Computer Vision Library (OpenCV) and NumPy. The scanned image(testing dataset) is being compared to the training dataset and thus emotion is predicted. The objective of this paper is to develop a system which can analyze the image and predict the expression of the person. The study proves that this procedure is workable and produces valid results.

연구 동기 및 목표

• 컴퓨터 비전 기반으로 인간의 감정을 얼굴 표정에서 탐지할 수 있는 실용적이고 접근 가능한 시스템을 개발하기 위해.
• 동일한 프레임워크를 사용하여 라이브 비디오 피드와 사전 존재하는 이미지 양쪽에서 감정 인식을 가능하게 하기 위해.
• 실세계 환경에서 감정 탐지에 대한 경량이고 오픈소스 솔루션의 타당성과 정확도를 평가하기 위해.
• OpenCV와 NumPy와 같은 널리 사용되는 도구를 활용해 재현 가능하고 확장 가능한 프로토타입을 제공하기 위해.

제안 방법

• 시스템은 웹캠을 사용해 실시간으로 얼굴 영상을 캡처하거나 메모리에서 정적 이미지를 로드한다.
• 이미지 내 얼굴를 국소화하기 위해 OpenCV의 사전 학습된 히어르 캐스케이드 분류기를 사용해 얼굴 탐지를 수행한다.
• 검출된 얼굴 영역에서 얼굴 랜드마크와 텍스처 특징을 추출하여 분석한다.
• 추출된 특징을 사전 레이블링된 얼굴 표정 학습 데이터셋과 비교한다.
• 학습 데이터셋 기반으로 학습된 머신러닝 모델을 사용해 특징 유사도에 기반해 감정 분류를 수행한다.
• 최종 출력은 예측된 감정(예: 기쁨, 슬픔, 분노 등)을 영상 또는 이미지에 표시한다.

실험 결과

연구 질문

• RQ1 기본적인 컴퓨터 비전 도구를 사용해 경량이고 오픈소스인 시스템이 인간의 감정을 얼굴 표정에서 정확하게 탐지할 수 있는가?
• RQ2 이 시스템은 라이브 비디오와 정적 이미지 양쪽에서 감정 분류에 얼마나 효과적인가?
• RQ3 학습 데이터셋과의 특징 비교가 얼마나 신뢰할 수 있는 감정 예측을 가능하게 하는가?
• RQ4 딥러닝 프레임워크 없이 오직 OpenCV와 NumPy만을 사용할 경우 시스템의 성능은 어떠한가?

주요 결과

• 시스템은 OpenCV와 NumPy만을 사용해 실시간으로 얼굴 감정을 탐지하고 분류하는 데 성공하여 실용적 타당성을 입증했다.
• 레이블링된 학습 데이터셋과의 비교를 통해 감정 인식 정확도가 검증되었으며, 일관된 분류 결과를 보였다.
• 이 방법은 라이브 비디오 입력과 정적 이미지 처리를 모두 지원하여 다양한 시나리오에서의 활용 가능성을 높였다.
• 심층 학습이나 복잡한 모델 없이도 기본적인 감정 탐지 작업에 효과적이라는 것이 입증되었다.