[论文解读] CatFLW: Cat Facial Landmarks in the Wild Dataset

George Martvel, Nareed Farhat+2 more|arXiv (Cornell University)|May 7, 2023

Face recognition and analysis被引用 5

一句话总结

本文介绍了CatFLW数据集，该数据集包含2016张野外捕捉的猫脸图像，标注了48个与猫特异性面部动作单元（CatFACS）相关的解剖学相关面部标志点。研究提出了一种半监督的‘人机协同’AI辅助标注方法，将每个标志点的标注时间缩短至仅5.2秒，显著快于传统人工方法，从而实现了高效创建高质量动物情感计算数据集。

ABSTRACT

Animal affective computing is a quickly growing field of research, where only recently first efforts to go beyond animal tracking into recognizing their internal states, such as pain and emotions, have emerged. In most mammals, facial expressions are an important channel for communicating information about these states. However, unlike the human domain, there is an acute lack of datasets that make automation of facial analysis of animals feasible. This paper aims to fill this gap by presenting a dataset called Cat Facial Landmarks in the Wild (CatFLW) which contains 2016 images of cat faces in different environments and conditions, annotated with 48 facial landmarks specifically chosen for their relationship with underlying musculature, and relevance to cat-specific facial Action Units (CatFACS). To the best of our knowledge, this dataset has the largest amount of cat facial landmarks available. In addition, we describe a semi-supervised (human-in-the-loop) method of annotating images with landmarks, used for creating this dataset, which significantly reduces the annotation time and could be used for creating similar datasets for other animals. The dataset is available on request.

研究动机与目标

• 解决动物面部标志点标注领域中公开、高质量数据集严重缺乏的问题，特别是针对猫类。
• 克服动物复杂面部特征人工标注耗时且易出错的挑战。
• 开发一种可扩展、高效的标注流程，利用AI辅助加速标志点标注，同时保持高精度。
• 通过标准化的48个标志点实现猫面部表情（与疼痛和情绪状态相关）的自动检测。
• 为未来动物情感计算研究（尤其是猫的疼痛评估与福利监测）提供基础。

提出的方法

• 采用半监督的‘人机协同’标注框架，由AI预测引导人工标注者。
• 基于先前约600张标注猫脸图像的数据集（来自[18]）训练一个基于EfficientNet的模型，生成初始标志点预测。
• 将模型预测结果作为人工标注者的起点，标注者仅需修正位置不准的标志点，而非从零开始定位。
• 通过结合初始人工标注数据与AI预测标志点数据，迭代式地重新训练模型（v1 → v2），以提升准确性。
• 采用组间一致性检验，使用组内相关系数（ICC2），获得0.998的高一致性评分。
• 实施多阶段标注流程：对10%的子集进行专家标注，其余部分采用AI辅助标注，随后进行质量审查与筛选。

实验结果

研究问题

• RQ1 与完全人工标注相比，AI辅助的‘人机协同’方法是否能显著减少标注48个猫脸标志点所需的时间？
• RQ2 当模型在人工验证数据上迭代重训练时，AI预测在多大程度上提升了标注效率？
• RQ3 基于猫面部肌群结构和CatFACS的48个标志点，是否能实现对与疼痛或情绪相关的细微面部变化的可靠检测？
• RQ4 在使用标准化解剖学标准的情况下，多位专家标注者之间的标志点标注一致性如何？
• RQ5 所提出的标注流程是否可推广至其他动物物种，以用于动物情感计算中类似数据集的构建？

主要发现

• AI辅助标注方法将每张图像的平均标注时间从约6.5分钟（人工）降低至约4.16分钟，效率提升35%。
• 每个标志点的标注时间缩短至5.2秒，远低于以往人工研究中每标志点20秒的水平。
• 两名专家标注者之间的组内相关系数（ICC2）达到0.998，表明一致性近乎完美。
• 在v1到v2版本中，无需人工调整的标志点比例翻倍，表明模型准确性显著提升。
• 该数据集包含2016张在不同环境与条件下拍摄的猫脸图像，每张图像均标注了48个解剖学上有意义的标志点。
• 这48个标志点是基于底层肌肉结构及与CatFACS的相关性精心选择的，可支持对与内部状态相关的复杂面部运动的分析。