[论文解读] Counting Without Numbers \& Finding Without Words

Badri Narayana Patro|arXiv (Cornell University)|Mar 25, 2026

Animal Vocal Communication and Behavior被引用 0

一句话总结

论文提出一个多模态再识框架，将视觉、声学和上下文线索整合起来定位失踪动物，证明声学身份在视觉数据不明确时有助于再识别。

ABSTRACT

Every year, 10 million pets enter shelters, separated from their families. Despite desperate searches by both guardians and lost animals, 70% never reunite, not because matches do not exist, but because current systems look only at appearance, while animals recognize each other through sound. We ask, why does computer vision treat vocalizing species as silent visual objects? Drawing on five decades of cognitive science showing that animals perceive quantity approximately and communicate identity acoustically, we present the first multimodal reunification system integrating visual and acoustic biometrics. Our species-adaptive architecture processes vocalizations from 10Hz elephant rumbles to 4kHz puppy whines, paired with probabilistic visual matching that tolerates stress-induced appearance changes. This work demonstrates that AI grounded in biological communication principles can serve vulnerable populations that lack human language.

研究动机与目标

• 动物和弱势群体依赖声学和多模态信号而非符号化人类语言的动机与原因
• 用视觉、声学和上下文数据制定跨模态再识别以 locate missing individuals
• 提出一个物种自适应的多模态架构，融合视觉、声学和上下文特征
• 在视觉线索退化时证明声学身份和软匹配能改善识别
• 讨论实际部署、局限性以及基于生物通信原理的AI的更广泛影响

提出的方法

• 提出一个跨模态再识别框架，在视觉、声学和上下文特征上学习联合嵌入
• 开发覆盖从次声到超声的广泛频率范围的物种自适应声学编码
• 实现基于高斯嵌入的近似相似度，进行软视觉匹配以容忍外观变化
• 建模时间序列降解以捕捉信号在分离时间中的可靠性衰减
• 提供可控的合成实验，包含60个身份用于分析组件贡献并提升可复现性
• 在真实收容所进行试点部署以评估实际可行性

实验结果

研究问题

• RQ1 多模态融合的视觉、声学与情境线索能否提升对失踪动物的再识别，相较于仅视觉系统？
• RQ2 物种特定的声学编码和软知觉匹配如何在外观变异下影响Rank-1准确率和假阴性？
• RQ3 时序动力学对跨模态再识别中信号可靠性的影响如何？
• RQ4 在真实收容所对模糊情形部署多模态系统是否具有实际可行性？

主要发现

• 在视觉外观模糊时，声学特征将Rank-1准确率提升25.7%
• 多模态融合通过软知觉匹配实现假阴性相对降低30%
• 在两个收容所的试点部署中，在23例照片仅方法失败的模糊情形中取得61%的成功率