[论文解读] Cetacean Translation Initiative: a roadmap to deciphering the communication of sperm whales

Jacob Andreas, Gašper Beguš+17 more|arXiv (Cornell University)|Apr 17, 2021

Marine animal studies overview被引用 4

一句话总结

本文提出了鲸类翻译计划，这是一项多学科路线图，旨在利用大规模多模态生物声学、行为学和环境数据，通过先进的机器学习技术破译抹香鲸的交流方式。通过借鉴现有的自然语言处理（NLP）与音频处理技术，并将其适配于抹香鲸独特的点击式发声，该计划旨在识别离散的交流单元与类语言结构，并通过交互式播放实验加以验证，其成果对非人类动物交流研究具有广泛影响。

ABSTRACT

The past decade has witnessed a groundbreaking rise of machine learning for human language analysis, with current methods capable of automatically accurately recovering various aspects of syntax and semantics - including sentence structure and grounded word meaning - from large data collections. Recent research showed the promise of such tools for analyzing acoustic communication in nonhuman species. We posit that machine learning will be the cornerstone of future collection, processing, and analysis of multimodal streams of data in animal communication studies, including bioacoustic, behavioral, biological, and environmental data. Cetaceans are unique non-human model species as they possess sophisticated acoustic communications, but utilize a very different encoding system that evolved in an aquatic rather than terrestrial medium. Sperm whales, in particular, with their highly-developed neuroanatomical features, cognitive abilities, social structures, and discrete click-based encoding make for an excellent starting point for advanced machine learning tools that can be applied to other animals in the future. This paper details a roadmap toward this goal based on currently existing technology and multidisciplinary scientific community effort. We outline the key elements required for the collection and processing of massive bioacoustic data of sperm whales, detecting their basic communication units and language-like higher-level structures, and validating these models through interactive playback experiments. The technological capabilities developed by such an undertaking are likely to yield cross-applications and advancements in broader communities investigating non-human communication and animal behavioral research.

研究动机与目标

• 利用机器学习与多模态数据，开发系统性框架以破译抹香鲸复杂交流行为。
• 通过先进的信号处理技术，识别抹香鲸点击声中的离散语音单元与高层级句法结构。
• 通过与野生抹香鲸进行的交互式播放实验，验证所发现的交流模式。
• 建立可迁移至其他非人类动物交流研究的科技平台。
• 将多学科数据——生物声学、行为学、生物学与环境数据——整合至统一的分析流程中。

提出的方法

• 应用最先进的机器学习模型，特别是自然语言处理（NLP）领域的模型，分析大规模抹香鲸发声数据。
• 采用音频处理技术，从连续声学记录中检测并分割出单个点击与短语（codas）。
• 开发表征学习模型，以识别抹香鲸发声序列中的语义与句法结构。
• 整合行为学与环境背景数据，将声学模式与生态与社会背景相联系。
• 设计并开展受控播放实验，以检验关于发声意义与社会反应的假设。
• 利用机器人技术与自主水下系统，在自然栖息地中实现长期、非侵入式数据采集。

实验结果

研究问题

• RQ1 抹香鲸发声中的基本交流单元是什么？它们如何组合成有结构的序列？
• RQ2 机器学习模型能否检测到抹香鲸点击声中类似句法的模式，其结构与人类语言相似？
• RQ3 抹香鲸的社会与环境背景在发声信号的产生与解读中起到何种作用？
• RQ4 人工智能在多大程度上能够准确预测或生成抹香鲸中有意义的发声互动？
• RQ5 多模态数据整合在提升交流破译模型准确性方面发挥何种作用？

主要发现

• 本文确立了利用现有机器学习与音频处理技术破译抹香鲸交流的奠基性路线图。
• 研究发现，尽管抹香鲸的点击式交流与人类语言不同，但其表现出的结构复杂性适合进行计算分析。
• 行为学与环境数据的整合对于将声学模式与功能性意义相联系至关重要。
• 交互式播放实验被提议作为验证假设性交流单元的关键机制。
• 所开发的技术基础设施有望在研究其他非人类动物交流系统中实现跨领域应用。
• 该计划强调了人工智能、海洋生物学、声学与机器人技术等多学科协作在实现目标中的必要性。