[论文解读] Py-Feat: Python Facial Expression Analysis Toolbox

Jin Hyun Cheong, Eshin Jolly+4 more|arXiv (Cornell University)|Apr 8, 2021

Emotion and Mood Recognition被引用 31

一句话总结

Py-Feat 是一个开源的 Python 工具箱，提供端到端的支持，用于检测、预处理、分析和可视化面部表情数据，帮助研究人员传播和基准化社科领域的计算机视觉模型。

ABSTRACT

Studying facial expressions is a notoriously difficult endeavor. Recent advances in the field of affective computing have yielded impressive progress in automatically detecting facial expressions from pictures and videos. However, much of this work has yet to be widely disseminated in social science domains such as psychology. Current state of the art models require considerable domain expertise that is not traditionally incorporated into social science training programs. Furthermore, there is a notable absence of user-friendly and open-source software that provides a comprehensive set of tools and functions that support facial expression research. In this paper, we introduce Py-Feat, an open-source Python toolbox that provides support for detecting, preprocessing, analyzing, and visualizing facial expression data. Py-Feat makes it easy for domain experts to disseminate and benchmark computer vision models and also for end users to quickly process, analyze, and visualize face expression data. We hope this platform will facilitate increased use of facial expression data in human behavior research.

研究动机与目标

• 解决社会科学领域中缺乏易于使用的开源面部表情研究工具的问题。
• 提供一个端到端的工具箱，用于检测、预处理、分析和可视化面部表情数据。
• 促进非视觉领域研究中计算机视觉模型的传播和基准测试。

提出的方法

• 将 Py-Feat 介绍为一个开源的 Python 工具箱。
• 提供用于检测、预处理、分析和可视化面部表情数据的模块。
• 设计旨在让领域专家和最终用户也能访问，用于处理和探索数据。

实验结果

研究问题

• RQ1 开源工具箱如何降低社会科学研究者使用面部表情分析的门槛？
• RQ2 Py-Feat 是否能够在跨领域中更容易地传播和基准化面部表情模型？
• RQ3 哪些特征（检测、预处理、分析、可视化）对面部表情研究最有帮助？
• RQ4 该工具箱是否充分整合组件，以支持从原始数据到洞察的端到端工作流？

主要发现

• Py-Feat 提供了一整套用于检测、预处理、分析和可视化面部表情数据的工具。
• 该工具箱旨在便于领域专家重复使用和对计算机视觉模型进行基准测试。
• 它的目标是促进面部表情数据在行为科学研究中的更广泛使用。
• 该平台强调对心理学及相关领域研究者的开放性和可及性。