[论文解读] Emotion Detection using Image Processing in Python

Raghav Puri, Archit Gupta+4 more|arXiv (Cornell University)|Dec 1, 2020

Face recognition and analysis参考文献 3被引用 11

一句话总结

本文提出了一种基于Python的实时面部情绪检测系统，利用OpenCV和NumPy，通过预训练数据集对实时摄像头画面或静态图像进行情绪分类。该方法通过提取面部特征并与训练数据进行比较，实现可靠的面部情绪识别，在实际应用中展现出可行性与准确性。

ABSTRACT

In this work, user's emotion using its facial expressions will be detected. These expressions can be derived from the live feed via system's camera or any pre-exisiting image available in the memory. Emotions possessed by humans can be recognized and has a vast scope of study in the computer vision industry upon which several researches have already been done. The work has been implemented using Python (2.7, Open Source Computer Vision Library (OpenCV) and NumPy. The scanned image(testing dataset) is being compared to the training dataset and thus emotion is predicted. The objective of this paper is to develop a system which can analyze the image and predict the expression of the person. The study proves that this procedure is workable and produces valid results.

研究动机与目标

• 开发一种实用且易于访问的系统，通过计算机视觉技术从面部表情中检测人类情绪。
• 通过单一框架实现实时视频流和预存图像的情绪识别。
• 评估轻量级开源解决方案在真实场景中进行情绪检测的可行性与准确性。
• 提供一个可复现且可扩展的原型，使用OpenCV和NumPy等广泛可用的工具。

提出的方法

• 系统使用网络摄像头实时捕获面部图像，或从内存加载静态图像。
• 利用OpenCV的预训练Haar级联分类器进行人脸检测，以定位图像中的人脸区域。
• 从检测到的人脸区域中提取面部关键点和纹理特征以供分析。
• 将提取的特征与预标记的面部表情训练数据集进行比对。
• 使用在数据集上训练的机器学习模型执行情绪分类，预测基于特征相似性。
• 最终输出将在图像或视频画面上显示预测的情绪（例如：开心、悲伤、愤怒）。

实验结果

研究问题

• RQ1 轻量级开源系统是否能仅使用标准计算机视觉工具，准确检测面部表情中的情绪？
• RQ2 该系统在实时视频和静态图像中分类情绪的效率如何？
• RQ3 与训练数据集进行特征比对在多大程度上能实现可靠的情绪预测？
• RQ4 仅使用OpenCV和NumPy而无需深度学习框架时，系统的性能如何？

主要发现

• 该系统仅使用OpenCV和NumPy，成功实现实时面部情绪检测，证明了其在实际应用中的可行性。
• 通过与标记的训练数据集对比，验证了情绪识别的准确性，显示出一致的分类结果。
• 该方法同时支持实时视频输入和静态图像处理，提升了在不同场景下的可用性。
• 该实现证明在无需深度学习或复杂模型的情况下，对基础情绪检测任务具有高效性。