[論文レビュー] Py-Feat: Python Facial Expression Analysis Toolbox

Jin Hyun Cheong, Eshin Jolly+4 more|arXiv (Cornell University)|Apr 8, 2021

Emotion and Mood Recognition被引用数 31

ひとこと要約

Py-Feat は、社会科学領域のCVモデルの普及とベンチマークを支援するため、顔表情データの検出、前処理、分析、可視化をエンドツーエンドでサポートするオープンソースの Python ツールボックスです。

ABSTRACT

Studying facial expressions is a notoriously difficult endeavor. Recent advances in the field of affective computing have yielded impressive progress in automatically detecting facial expressions from pictures and videos. However, much of this work has yet to be widely disseminated in social science domains such as psychology. Current state of the art models require considerable domain expertise that is not traditionally incorporated into social science training programs. Furthermore, there is a notable absence of user-friendly and open-source software that provides a comprehensive set of tools and functions that support facial expression research. In this paper, we introduce Py-Feat, an open-source Python toolbox that provides support for detecting, preprocessing, analyzing, and visualizing facial expression data. Py-Feat makes it easy for domain experts to disseminate and benchmark computer vision models and also for end users to quickly process, analyze, and visualize face expression data. We hope this platform will facilitate increased use of facial expression data in human behavior research.

研究の動機と目的

• 社会科学領域における顔表情研究のための使いやすくオープンソースのツールの不足に対処する。
• 顔表情データを検出、前処理、分析、可視化するエンドツーエンドのツールボックスを提供する。
• 非視覚分野の研究におけるコンピュータビジョンモデルの普及とベンチマーキングを促進する。

提案手法

• Py-FeatをオープンソースのPythonツールボックスとして紹介する。
• 顔表情データの検出、前処理、分析、可視化のモジュールを提供する。
• データの処理と探索を目的として、ドメイン専門家およびエンドユーザーが利用しやすい設計にする。

実験結果

リサーチクエスチョン

• RQ1 オープンソースのツールボックスは、社会科学の研究者が顔表情分析を利用する際の障壁をどのように低くできるか？
• RQ2 Py-Feat はドメイン横断での顔表情モデルの普及とベンチマーキングを容易にできるか？
• RQ3 顔表情研究にとって最も有用な機能（検出、前処理、分析、可視化）は何か？
• RQ4 ツールボックスは生データから洞察までのエンドツーエンドのワークフローをサポートするために、部品を十分に統合しているか？

主な発見

• Py-Feat は顔表情データの検出、前処理、分析、可視化の包括的なツールセットを提供する。
• ツールボックスは、ドメイン専門家によるコンピュータビジョンモデルの再利用とベンチマーキングを容易にすることを目的としている。
• 人間の行動研究における顔表情データの利用拡大を促進することを狙っている。
• このプラットフォームは、心理学および関連分野の研究者にとっての開放性とアクセスのしやすさを強調している。