[论文解读] DogFLW: Dog Facial Landmarks in the Wild Dataset

George Martvel, Greta Abele+6 more|arXiv (Cornell University)|May 19, 2024

Wildlife Ecology and ConservationEnvironmental Science被引用 3

一句话总结

本文介绍了DogFLW数据集，包含3,274张野生狗图像，标注了46个基于解剖学的面部关键点，支持在非受控环境下对狗面部表情进行自动化分析，以服务于情感计算研究。该研究采用集成学习方法对关键点检测进行基准测试，在完整测试集上达到5.31的归一化均方误差（NME），其中耳部区域因品种特异性形态差异导致误差较高。

ABSTRACT

Affective computing for animals is a rapidly expanding research area that is going deeper than automated movement tracking to address animal internal states, like pain and emotions. Facial expressions can serve to communicate information about these states in mammals. However, unlike human-related studies, there is a significant shortage of datasets that would enable the automated analysis of animal facial expressions. Inspired by the recently introduced Cat Facial Landmarks in the Wild dataset, presenting cat faces annotated with 48 facial anatomy-based landmarks, in this paper, we develop an analogous dataset containing 3,274 annotated images of dogs. Our dataset is based on a scheme of 46 facial anatomy-based landmarks. The DogFLW dataset is available from the corresponding author upon a reasonable request.

研究动机与目标

• 为解决在非受控环境下自动化狗面部表情分析所面临的大型、多样化数据集严重缺乏的问题。
• 开发一种标准化的、基于解剖学的46个关键点标记方案，与DogFACS对齐，以实现面部特征表示的一致性。
• 支持训练鲁棒且可泛化的面部关键点检测模型，适用于多种犬种及形态。
• 支持犬类情感计算研究，包括情绪识别、健康监测以及人犬互动研究。
• 提供一个基准数据集，推动人工智能在犬类面部表情分析中于福利与认知科学领域的进展。

提出的方法

• 基于犬类面部肌群结构与DogFACS，采用解剖学引导的关键点标注，确保与情感计算标准的一致性。
• 从多样化来源收集数据，涵盖真实世界条件（如光照变化、姿态差异、背景复杂性），以增强数据集的真实性。
• 应用集成学习模型，结合多种深度学习架构，以提升关键点检测的鲁棒性。
• 在3,274张图像的均衡划分数据集上进行训练与评估，其中2,500张用于训练，774张用于测试，以归一化均方误差（NME）为主要评估指标。
• 按耳型（直立耳、下垂耳、半下垂耳）与犬种进行子组分析，评估不同形态亚型下的检测性能差异。
• 使用预裁剪图像进行推理，以隔离关键点检测性能与人脸检测误差的影响。

Figure 1 : Annotated Dog’s Face. Image of a dog with a face bounding box and 46 facial landmarks.

实验结果

研究问题

• RQ1 狗的面部不同区域（尤其是耳朵区域）的关键点检测性能如何变化？
• RQ2 犬种特异性的形态特征（如被毛长度、耳型）在多大程度上影响关键点检测的准确性？
• RQ3 基于犬类面部解剖学的单一标准化关键点方案，是否能支持在多种犬种中实现可靠且可泛化的面部表情分析？
• RQ4 数据集构成（如犬种分布、耳型比例）如何影响模型的泛化能力与误差率？
• RQ5 在存在极端形态变异的狗中，关键点检测面临的主要挑战是什么？如何有效缓解这些挑战？

主要发现

• 在完整测试集上，关键点检测的总体归一化均方误差（NME）为5.31，表明该真实世界数据集具备较强的基线性能。
• 耳部区域误差最高（NME = 13.19），显著高于眼区（2.24）与鼻区（4.22），主要由于形态多样性与遮挡所致。
• 下垂耳狗的检测误差最高（NME = 15.28），其次为半下垂耳（12.77），直立耳狗最低（9.79），证实犬种形态是主要挑战因素。
• 被长而浓密的被毛遮挡面部特征的犬种（如爱尔兰水猎犬、巴吉度猎犬）检测误差显著升高，因关键点被遮挡。
• 被毛短而光滑的犬种（如吉娃娃、迷你杜宾犬）检测误差最低，表明特征可见性提升有助于提高模型性能。
• 模型性能显著受犬种特异性特征影响，如耳部位置可变性（如柯利犬、伊比沙猎犬）与特征被遮挡（如中华田园犬），凸显需要更丰富的训练数据。

Figure 2 : Examples of annotated images from the DogFLW.