[论文解读] Going Deeper than Tracking: a Survey of Computer-Vision Based Recognition of Animal Pain and Affective States

Sofia Broomé, Marcelo Feighelstein+7 more|arXiv (Cornell University)|Jun 16, 2022

Human-Animal Interaction Studies被引用 10

一句话总结

本综述对基于计算机视觉的动物情感状态与疼痛识别方法进行了全面分析，超越了运动追踪，转而评估面部与身体表情。该综述整合了现有研究，识别出数据、标注与模型可解释性方面的关键挑战，并为通过情感计算推动动物福利发展提供最佳实践与未来方向。

ABSTRACT

Advances in animal motion tracking and pose recognition have been a game changer in the study of animal behavior. Recently, an increasing number of works go 'deeper' than tracking, and address automated recognition of animals' internal states such as emotions and pain with the aim of improving animal welfare, making this a timely moment for a systematization of the field. This paper provides a comprehensive survey of computer vision-based research on recognition of affective states and pain in animals, addressing both facial and bodily behavior analysis. We summarize the efforts that have been presented so far within this topic -- classifying them across different dimensions, highlight challenges and research gaps, and provide best practice recommendations for advancing the field, and some future directions for research.

研究动机与目标

• 系统化并回顾基于计算机视觉的动物情感状态与疼痛识别的最新研究进展。
• 识别在不同动物物种中数据收集、标注与模型可解释性方面的关键挑战。
• 揭示研究空白，并为动物情感计算领域的未来工作提供最佳实践建议。
• 倡导开发标准化、公开可访问的基准数据集，以支持跨物种与物种特异性比较。
• 推动可解释人工智能方法，以支持临床决策与伦理动物福利管理。

提出的方法

• 对120余项关于动物情感状态识别的计算机视觉研究进行系统性综述，重点关注面部与身体行为分析。
• 根据动物物种、数据模态（如视频、图像）、标注方法与识别任务（如疼痛、情绪）对现有工作进行分类。
• 分析技术方法，包括手工设计特征与深度学习模型，特别关注模型透明度与特征可解释性。
• 评估在不同环境下的性能表现——受控实验室环境与真实农场或野外栖息地，突出分布偏移问题。
• 整合人类情感计算领域的洞见，以指导特征工程、数据整理与模型评估的最佳实践。
• 提出未来研究框架，强调自监督解耦与数据收集及模型部署中的伦理考量。

实验结果

研究问题

• RQ1 在动物疼痛与情感状态识别中，当前计算机视觉采用的技术与方法论有哪些？
• RQ2 性能指标与模型泛化能力在受控实验室环境与真实世界环境之间如何变化？
• RQ3 动物情感计算中数据收集、标注质量与模型可解释性的主要挑战是什么？
• RQ4 可解释人工智能技术如何提升临床与福利管理情境下的信任度与适用性？
• RQ5 标准化、公开的基准数据集在此领域中对提升可复现性与跨物种比较能发挥何种作用？

主要发现

• 疼痛识别性能在不同环境中差异显著：在受控实验室环境中，小鼠的识别准确率高达99%，而在真实农场环境中，绵羊的准确率仅为67%。
• 深度学习模型与学习特征的使用趋势明显，但常导致‘黑箱’推理，缺乏可解释性。
• 手工设计特征具有更好的可解释性，但性能通常低于端到端学习表示，凸显透明性与准确性的权衡。
• 由于物种间形态多样性以及姿态、光照与背景的变化，尤其在非受控环境中，模型泛化能力受到严重制约。
• 缺乏公开可获取、伦理采集且诱导出特定情感状态的数据集，限制了可复现性与跨方法比较。
• 自监督解耦技术在分离可变因素（如面部表情与姿态或背景）方面显示出潜力，但目前仍不稳定且发展不足，尚未充分应用于动物情感识别。